先秦时期，中国分为九州，甘肃省境大部属雍、凉二州，旧称“雍凉之地”。

　　西周时，秦人的祖先在省境东部，即今天水地区定居下来，开始了由游牧经济向农业经济的缓慢过渡，而游牧生活仍占居主要的地位。

　　秦时期，公元前688年秦国在己被征服的邽戎、冀戎地区，设邽县（今天水麦积区南）、冀县（今甘谷县），这是中国历史上建立最早的两个县。战国时期，秦国的疆域已达今甘肃的东南部。前320~314年，秦国多次兵伐义渠，平定西部诸戎。秦昭王二十七年（前280年）设置陇西郡，9年后，即秦昭王三十五年（前272 年）再建立北地郡。

　　秦一统天下，设置36郡，甘肃仍属于陇西郡和北地郡。

　　西汉元狩二年（前121年），在陇西郡和北地郡基础上，增设武威郡和酒泉郡，统辖甘肃西北部。元鼎三年（前114年），增置天水郡、安定郡、武都郡。元鼎六年（前111年），分武威郡置张掖郡，析酒泉郡置敦煌郡。始元六年（前81年），从天水、陇西、张掖3郡各分出2个县建立金城郡。自此，甘肃共设置十个郡。

　　东汉时，行政区划大体上是州、郡、县三级制，沿袭西汉建制，增设张掖属国和张掖居延属国两个少数民族管理区，隶属凉州。

　　三国时期沿袭东汉建制。大部分地方属曹魏，南部的部分地区属蜀汉。

　　西晋时期隶属凉州、秦州和雍州。从西晋末到十六国时期，跨境或在甘肃境内先后建立的割据政权有：后赵、前秦、后秦、前凉、西秦、后凉、南凉、北凉、西凉，各占有约当今甘肃一部之地。

　　南北朝时期，甘肃先后为北魏、西魏、北周的统治地区。这一时期，南北对峙，国家分裂，州县林立，政权更替频繁，行政建置混乱。北魏，甘肃境设置8个州、35个郡、91个县；北周，设22州、56郡、104县。

　　隋统一中国，裁并郡县。省内共设16郡，76县。隋炀帝后期大乱，东突厥崛起达到“戎狄炽强，古未有也”的强盛程度。大业十三年（617年）七月，武威郡鹰扬府司马李轨举兵反隋，占领河西，建大凉国，定都姑臧，建元安乐，归附于东突厥。

　　唐武德二年（619年）李轨被李渊所灭。唐代改郡为道，省境分属关内道、陇右道和山南道，共辖22州。公元764年，包括甘肃在内的河西、陇右被吐蕃占据。公元849年，唐重占秦、原、安乐、维、扶、河、渭等州，公元851年，汉人张议潮占据包括甘肃在内的河西、陇右，归附于唐朝，唐朝再次占据甘肃。

　　北宋年间，西夏统治河西时设有甘肃军司（驻甘州，今张掖市甘州区）。这是最早出现的甘肃之名。

　　元时期，设甘肃行中书省，辖黄河以西七路二州，黄河以东地区为陕西兴远路。

　　明时期，改省设司，省境属陕西布政司、陕西都司、陕西行都指挥使司，辖地大部继承元朝，按照明的定制，卫、所设于边境和要害地区，在边境重镇设行都指挥使司，每省设一都指挥使司。卫、所实行军屯，属军事机关，但后来在边境地区卫、所也兼理民政。

　　清时期，设陕西右布政司，后改甘肃布政司，行政中心从巩昌（今陇西县）迁至兰州市，辖今甘肃、新疆、青海、宁夏省区部分范围。光绪十年（1884）分出新疆。

　　1912年，省境又划分为宁夏（原朔方）、西宁（原海东）、兰山、泾原（原陇东）、渭川（原陇南）、甘凉（原河西）、安肃（原边关）七道。辖今甘肃、内蒙古西部、青海北部和东部一些地方、外蒙古西南边、宁夏。

　　1927年，撤道为省，1929年分出青海和宁夏两省区。第二次国内革命战争时期，省境陇东地区属陕甘宁边区的陇东和关中两分区。

　　1949年8月26日，成立甘肃行政公署，下辖酒泉、张掖、武威、兰州、定西、临夏、庆阳、天水、平凉、武都11个分区（专区、市）、73县（局）。甘肃行署隶属于西北军政委员会（后改为西北行政委员会，1954年撤销）。

　　1950年1月8日，甘肃省人民政府正式成立，辖今甘肃、内蒙古西部。

　　1954年，根据内务部的通知，将撤销的宁夏省并入甘肃省。

　　1957年，以1929年的原宁夏省行政区域为基础成立宁夏回族自治区。甘肃省名从元朝相沿至今。

　　1958年，划3个专区（自治州）、19个县市归宁夏回族自治区管辖。

　　1962年，专区增加到13个，即兰州、白银、庆阳、平凉、天水、武都、定西、临洮、武威、张掖、酒泉、临夏、甘南。

　　1965年，共有12个专区（自治州、市）、81个县，32个区公所、1559个人民公社，88个街道办事处。

　　1975年，全省共设12个地、州、市，82个县。

　　1985年，全省共设14个行署（州、市），辖86县（自治县、市、区），至此，形成今甘肃省行政区域。

　　2004年，全省现辖12个地级市、2个自治州，86个县（市、区）。