霍林郭勒境内，春秋战国至秦时，属东湖人游牧地。

两汉时，为鲜卑人牧地。

三国至两晋时，是东部鲜卑游牧地。

东晋时，是契丹人辖地。

南北朝时，为地豆于人居住地。

隋朝，为霫人辖地。

唐初，为霫人辖地；唐末，契丹人耶律阿保机统一了契丹各部；辽时，属上京道临潢府辖地。

金时，为临潢府统辖地；金代末年，蒙古人兴盛，金政府为防御蒙古人南下，修筑总长近万里的金界壕。

元朝时，属中书省全宁路管辖。

明朝时，属努尔干都司泰宁卫辖地。

清朝时，属哲里木盟科尔沁左翼中旗辖地。

中华民国初期（1912-1932年），属哲里木盟科尔沁左翼中旗辖地；伪满时，于1932年5月设兴安总省，下辖东西南北四个分省，市境属兴安南省管辖；1944年8月，划归科尔沁右翼中旗管辖。

1949年8月29日，今市境划归扎鲁特旗，为扎鲁特旗北部三个努图克（乡）的游牧夏营地；1969年3月，中国人民解放军北京军区内蒙古生产建设兵团第六师五十一团四连开进霍林河（五七镇）；1969年7月，划归吉林省；1970年1月，正式组建了内蒙古生产建设兵团第六师五十七团；1979年7月，复归内蒙古自治区；1981年10月，为支援霍林河煤田建设，哲里木盟设立霍林河办事处，行使旗县级政府职能，并筹备建市；1982年2月，办事处正式挂牌办公；1985年11月9日，国务院批准成立霍林郭勒市（旗县级），隶属哲里木盟；1999年1月13日，国务院撤销哲里木盟建制，成立通辽市（地级），霍林郭勒市由通辽市代管。