玉泉区境地处“要荒”，远离京畿一千数百里，古为“并州徼外”地，荤粥所居。

战国时隶属赵云中郡。秦因之。汉时建置名存实亡，由北魏统领。

南北朝时期为敕勒族属地。隋代属白道川。唐时入云中都护府（后称单于大都护府）。

宋代为辽国领地，属西京道丰州（丰州城故址在呼和浩特市东郊）。北宋末，为金朝西京路的丰州富民县所辖。

元代沿袭金制，仍隶属丰州。明朝正德、嘉靖年间，阿勒坦汗率土默特部驻牧“丰州滩”，始有“土默川”之称。玉泉区地区在土默川平原上。

明隆庆五年（1571年），阿勒坦汗与明朝达成通贡互市协议，并被明廷封为“顺义王”。翌年，他召集能工巧匠，在大青山之南的今玉泉区地界内，模仿元大都的格局，开始建设有八座楼和琉璃金银殿的城池。万历三年（1575年）城垣建成，蒙古语名库库和屯，含义为“青色的城”。同年明廷赐名“归化城”。后毁于明末战火。

清初又在废墟上因陋就简建成王府城市，周长1.2千米，垣高8米，只有南北两座城门，康熙年间，又在东、南、西三面扩建外城。外城墙包原城的东南西三方。但东北和西北各露一小段未包住，新的城略呈“凸”字形。扩建增东、南、西、三门，每门都筑有瓮城。原南门改建成城中心鼓楼。这座城仍坐落在今玉泉区的西北部大南街街道办事处境内。乾隆初年，在归化城东北建成“绥远城”，俗称“新城”。相应地，归化城得“旧城”俗名，沿称至今。

清代，呼和浩特地区设有三套行政机构。一为土默特左、右翼特别旗，建于清入关前的天聪年间（两旗都统府均驻玉泉区境内）。一为归化城厅，雍正元年（1723年）设，隶属于山西朔平府；乾隆六年（1741年），置归绥道（属山西），厅改隶道辖。一为绥远城将军，始于乾隆四年（1739年）；它管理满洲驻军和满民事务，并节制上述的“旗”和“道”。区境由“旗”、“厅”共管，以民族分治；蒙民属“旗”，汉民属“厅”。

民国元年（1912年），改归化城厅为归化县；民国二年绥远城并入，改称归绥县。区境内仍蒙汉分治，旗县并存。

民国三年（1914年）设绥远特别行政区，脱离山西省。

1937年10月，日本军入侵，玉泉区境由“蒙古联盟自治政府”之巴彦塔拉盟的归绥县管辖。后设厚和豪特市，1938年8月1日改建成厚和特别市，继改为厚和浩特市，区境始为市辖。

1945年日军投降后，建归绥市，今玉泉区属之。境内有市的第二区、第三区和第一、第四两区之部分。土默特特别旗仍存，境内因袭蒙汉分治。建国初沿用旧制。

1951年6月调整区划，并改组区公所（市人民政府派出机关）为区人民政府。玉泉区境内有第三区大部和第二区之部分。

1954年2月结束了延续二百多年的民族分治局面，区境内的各族人民统一归当地政府管理。

1954年4月25日更市名为呼和浩特市。6月1日更改序数区名。第三区改称玉泉区，这是玉泉名称之始（第二区易名庆凯区，因“庆凯桥”得名。

1956年撤庆凯区，其大部分划入玉泉区）。

1966年更名为向阳区，1979年复称玉泉区。

1999年7月，原郊区的西菜园、小黑河、桃花3个乡划入，成了拥有农村的城乡一体化的新型市区。