郑州在上古时代属九州中的“豫州之域”。公元前21世纪，中国历史上第一个朝代——夏朝建立后，郑州地区在相当长一个时期内，曾处于国家政治的中心地区。

　　公元前16世纪，商朝开国帝王成汤居亳。亳，或曰亳嚣，即今郑州商城。 

　　西周灭殷后，周武王将其弟叔鲜封于管（今郑州市区），当时周王在郑州地区的封国，除管外，还有郐、东虢、祭、密等。西周灭亡后，平王东迁洛阳，是为东周。但此时周天子己名存实亡，代之是诸侯兴起、互相争霸兼并的局面，而新郑则在“‘乱世”之际，作为一个重要都邑而兴起，并开始成为郑州地区的政治中心。

　　春秋初年的郑国，国势强盛，在各诸侯国中地位显赫。韩哀侯二年（前375年），韩国灭郑，将国都自阳翟迁至新郑，新郑又为韩国国都。直到前230年韩灭于秦，新郑作为郑、韩国都长达500多年。

　　秦庄襄王元年（前249年），秦军攻入韩国，三川郡郡治洛阳，不久迁至荥阳，郑州市区所在的管邑隶属于荥阳下辖的京县。秦王政十七年（前230年），秦又置颖川郡，郡下置新郑、苑陵（今新郑县东北），阳城（今登封县告城镇）等1县。

　　汉王二年（前205年），刘邦进占洛阳后，改三川郡为河南郡，于郡内新置密、成皋（今荥阳县汜水镇）、故市（今郑州市区北15公里）、中牟等县，并将新郑、苑陵二县划入河南郡。汉武帝元封元年（前110年）到嵩山封禅，划地置崇高县，不久，又置纶氏县（今登封县颖阳镇），皆属颖川郡。东汉改河南郡为河南尹，将崇高县并入阳城县。今郑州市区所在的管邑隶属于汉高祖所封闫泽赤为侯国的故市县，至汉武帝刘彻元鼎五年（前112年），故市侯国被废，管邑划归中牟县。东汉以后，“管邑”之名逐渐为“管城”所代，依属中牟县。

　　魏晋南北朝时期，郑州地区战乱不断，郑州地区的行政建置变化较大，加之魏晋后改郡县二级制为州、郡、县三级制，使这一时期的建置变化更为复杂。前220年，魏将辖区分为13州，州辖郡，郡辖县。郑州地区所在的河南郡隶属于司州。西晋灭亡后，羯人石勒尽陷司、兖、豫三州之地，占据中原。之后200多年间，政权更迭频繁，战乱持续不靳。郑州地区先后为赵、冉魏、前燕、前秦、后秦、北魏、东魏、北齐、北周辖地，地当要冲的荥阳城遭严重破坏，日趋凋蔽。北魏统一北方后，置北豫州，州治武牢（今荣阳县汜水镇），并于公元493年将蒙旧县城（今古荥镇）迁至大索城（今荥阳老城）。时北豫州下辖荥阳郡、河南郡、阳城郡等郡。东魏天平元年（534年），在北豫州下置广武、荥阳、成皋三郡，三郡共辖荥阳、成皋、京等11县。北周灭北齐后，将北豫州改为荥州，州治成皋。这一时期，管城（今郑州市区）一直隶属于中牟县。

　　隋文帝杨坚于公元581年建立隋朝，结束了长期分裂割据的局面。开皇三年（583年），隋文帝实行州、县二级制，并将荥州改名为郑州，郑州作为州一级行政区名称，开始用指于今郑州地区（公元549年，东魏孝静帝将颖州改名郑州，谓最早的郑州），但州治仍在成皋。开皇十六年（596年），隋改郑州为管州，州治自成皋移至管城，管城也于是年从中牟分出单独为县。因此开皇十六年（596年）可作为以管城为郑州地区政治中心时期的开始。隋大业二年（606年），管州复称郑州。

　　唐武德四年（621年），李世民进兵据武牢，平王世充，将郑州一分为二，密县、荥阳等5县归郑州，州治武牢。贞观元年（627年），又废管州及须水县，属县复入郑州。贞观七年（633年）“自武牢移郑州理所于管城”，此后一直到明初，郑州治所均设于管城县。五代时期，郑州辖管城、新郑、荥阳等7县，后梁时将阳武划归开封府，后晋时将中牟划归开封府。管城作为郑州地区的政治中心，至唐代开元年（713-741年）以后，达到了经济鼎盛时期。

　　公元960年，北宋朝建立，定都汴京。郑州地近京师，属京畿路。皇祐五年（1038年）京畿路所辖的曹州、陈州、许州、郑州、滑州被确定为辅郡。熙宁五年（1072年），宋朝废郑州建制，“以管城、新郑隶开封府，省荥阳、荥泽县为镇入管城”。元丰八年（1085年）又复置郑州，下辖管城、新郑、荥阳、荥泽、原武5县。崇宁四年（1105年），改开封府为京畿路，并于京畿四面置四辅郡，郑州为西辅，此后，郑州作为宋代四辅郡之一，处于重要的地位，“西辅”也一度成为郑州的别称。北宋灭亡，金朝占据中原，在郑州之南置钧州，辖新郑、阳翟二县。贞元元年（1153年），将永安县更名为芝田县。时郑州属南京路。

　　元初将新郑划归郑州，郑州属汴梁路。至元二年（1265年），新郑、密县改属钧州，荥泽、原武划归开封府。郑州仅领管城、荥阳、汜水、河阴4县。

　　朱元璋建立明朝后，对全国地方建置进行改革，实行省、府（直隶州）、县三级制，管城县裁入郑州。时郑州虽仍领有荥阳、荥泽、河阴、汜水四县，但却是作为属州（县级）。同中牟、新郑、密县同隶属于开封府。

　　清承明制实行省、府（直隶州）、县三制，郑州在清代曾两次升为直隶州。第一次是在雍正二年（1724年）升为直隶州，直接隶属于河南省，雍正十二年（1734年）仍隶于开封府。第二次是在光绪二十九年（1903年）升为直隶州，直到1913年改州为县。

　　1911年辛亥革命后，河南省行政区划分为4道、9府、1直隶厅、5直隶州、5散州和106县。郑州直隶州归属于开归陈许道。

　　民国二年（1913年）2月，全国统一将府及直隶厅、直隶州、散厅、散州治所皆改为县，郑州直隶州改称郑县，改开归陈许道为豫东道。民国三年（1914年）6月，豫东道改称开封道。民国十一年（1922年）4月，郑县辟为商埠。民国十六年（1927年）4月，国民政府定都南京后，在全国废除道一级行政建制，实行省县两级制，郑县直属河南省管辖。民国十七年（1928年）3月18日，河南省国民政府析郑县城区置郑州市。民国二十年（1931年）1月13日撤销郑州市，仍为郑县城区。

　　民国二十一年（1932年）8月开始，国民党南京政府陆续在各省分区设置了行政督察专员公署，代表省政府监督所辖各县、市。河南省划为11个行政督察区。第一行政督察区管辖郑县、中牟、密县、新郑、广武、荥阳、开封等13县，行政督察专员公署驻郑县。民国三十年（1941年）底，全省改划为13个行政督察区，第一行政督察区的通许县划归第十二区，其余不变。民国三十三年（1944年）9月，河南全省改划为12个行政督察区，第一行政督察区管辖范围不变，但行政督察专员公署由郑县移至新郑县。民国三十七年（1948年）4月，第一行政督察区专员公署重又迁回郑县。

　　1948年10月郑州解放后，在郑县城区设立郑州市，直属河南省领导。

　　1953年2月，郑县撤消，其辖区划归郑州市及新郑、中牟2县。

　　1954年10月30日，河南省政府由开封迁往郑州，郑州市从此成为河南省省会。