合肥在新石器时代，就有人类在此活动。春秋战国时期，先后属楚、吴、越，后又属楚 [30]  。秦始皇二十六年（前221年），废分封，立郡县，合肥属九江郡。

　　西汉高祖元年（前206年），项羽在九江郡地置九江王国。高祖四年（前203年），改九江王国为淮南王国。汉文帝六年（前174年），改淮南王国为淮南郡；十二年（前163年），复将淮南郡改为淮南王国。汉武帝元狩元年（前122年），改淮南王国为九江郡，辖合肥等县，合肥县名始见于此。汉武帝元封五年（前106年），置十三州，合肥县属扬州九江郡。

　　东汉光武帝建武元年（25年），改合肥县为合肥侯国。汉献帝建安五年（200年），废合肥侯国，复改为合肥县，扬州治合肥。

　　三国时，合肥县属魏国淮南郡，为扬州治。

　　西晋武帝太康元年（280年），改九江郡为淮南郡，合肥县属淮南郡。

　　东晋，南北分裂，合肥为双方争夺的重镇，县废。南朝宋置南豫州，于旧合肥县地置汝阴县。汝阴属南豫州南汝阴郡，为郡治。梁武帝天监五年（506年）改属汝阴郡。梁武帝普通七年（526年），以寿阳置豫州，汝阴为南豫州治。梁武帝太清元年（547年），置合州，汝阴属合州汝阴郡，为州、郡治。北周宣帝大成元年（579年），合州为北周占领。隋文帝开皇元年（581年），改汝阴县为合肥县，改合州为庐州，合肥属庐州，为州治。大业初，改庐州为庐江郡，合肥属庐江郡，为郡治。

　　唐高祖武德三年（620年），改庐江郡为庐州，治合肥。唐太宗贞观元年（627年），置十道，合肥属淮南道庐州。唐玄宗天宝元年（742年），改庐州为庐江郡，仍治合肥。唐肃宗乾元元年（758年），又改庐江郡为庐州。唐僖宗中和到唐昭宗天复年间（883年-902年），杨行密先后为扬州刺史和吴王，辖合肥。

　　后梁到后唐（907年-936年），合肥县属吴国庐州，昭庆军节度。后晋到后汉（936年-950年），合肥县属南唐庐州，保信军节度。后周时（951年-960年），合肥县属后周庐州，保信军节度。

　　北宋太宗淳化四年（993年），合肥县属淮南道庐州，为州治。宋太宗至道三年（997年），改道为路，合肥县属淮南路庐州，为州治。

　　宋神宗熙宁五年（1072年），淮南路分东西两路，后并又分，合肥属淮南西路庐州，为州治。宋朝庐州属保信军节度。南宋高宗绍兴初，庐州寄治巢县。绍兴十年（1141年），合肥为金朝占领，旋即收复。宋孝宗乾道五年（1169年），庐州仍治合肥。

　　元世祖至元十四年（1277年），升庐州为庐州路，隶淮西江北道，合肥属淮西道庐州路。至元二十八年（1290年），合肥县属河南江北行省庐州路。元泰定二年（1325年），合肥县仍属淮西道庐州路。元顺帝至正十二年（1352年），合肥县复属河南江北行省庐州路。至正二十四年（1363年），朱元璋占庐州，改路为府，置江淮中书行省于此，合肥县属江淮行省庐州府，不久改属江浙行省庐州府，为府治。

　　明太祖洪武元年（1368年），合肥改属中书省直隶庐州府，为府治。洪武十三年（1379年），合肥改属六部直隶庐州府，为府治。明成祖永乐十八年（1420年）置南京直隶，合肥属南京直隶庐州府，为府治。

　　清朝顺治二年（1645年），改南京直隶为江南省，合肥县属江南省庐州府，为府治。顺治十八年（1660年），设江南左右布政使司，江南左布政使司辖庐州等府、州。清朝康熙六年（1664年），江南左布政使司改为安徽布政使司，安徽正式建省，合肥县属安徽省庐州府。清朝咸丰三年到十一年（1853年-1861年），安徽巡抚治于合肥县。

　　民国元年（1912年），庐州府废，合肥县直属安徽省。民国三年（1914年），全省分为三道，合肥县属安庆道。

　　民国十七年（1928年），废道，合肥县直属安徽省。

　　民国二十一年（1932年），置行政督察区，合肥县属安徽省第三行政督察区。

　　民国二十七年（1938年）5月，日军侵占合肥县，国民政府将县政府撤至大潜山北麓鸽子笼圩子（今合肥肥西县铭传乡）。

　　民国二十九年（1942年），合肥县改属安徽省第二行政督察区。民国三十四年（1945年）8月复治合肥城。

　　民国三十四年（1945年）抗战胜利后，国民政府将安徽省省会迁至合肥县，合肥成为安徽省的省会。民国三十七年（1948年）12月，析、取合肥县西乡、南乡建立的肥西县；次年1949年2月1日再次析合肥县东乡、北乡为肥东县。

　　1949年1月21日，合肥县和平解放，同年2月，合肥设市。

　　1952年，安徽省人民政府正式在合肥市成立。

　　1965年由寿县、定远、肥东、肥西四县的边缘结合部划并而成长丰县，该县也成为合肥市第一个市辖县。

　　2011年8月，地级巢湖市拆分，庐江县与县级巢湖市划归合肥市管辖。

　　2018年9月，在第十五届海峡两岸信息产业和技术标准论坛期间，合肥市被授牌成为“海峡两岸集成电路产业合作试验区” 。