霍山历史悠久，早在春秋时期就设有潜邑，汉代设为潜县，隋朝

始称霍山县。霍山人杰地灵，民俗风情，人文历史源远流长，许多文人墨客在此留下精美的华章；霍山英雄辈出，曾有数十位杰出人物名垂二十五史。霍山有着光荣的革命传统，是红军的故乡，将军的摇篮。

夏属扬州，是皋陶后裔封地。春秋前是六属国，楚灭六后设灊邑（故城在下埠口，今下符桥镇），后迁至南冈（城东200步处）。

秦属九江郡。

汉高祖元年（前206年）属衡山国，五年改属淮南国，文帝十六年（前164年）复属衡山国，武帝元狩元年（前122年）改衡山国为衡山郡，元封五年（前106年），设灊县（故治所在今城关镇上元街，一说在今县城西的古城畈），属庐江郡。

南朝宋文帝元嘉二十五年（448年），划出部分设开化县（治所在今六安县青山镇），属庐江郡；梁武帝天监六年（507年），分设霍州、岳安（治所在今城关镇），并别置北沛郡新蔡县（治所在今下符桥），太清二年（548年）入东魏，废岳安县，置安城县，又别置义兴县。北齐废霍州，复名岳安县。陈文帝天嘉二年（561年）复为霍州；宣帝太建二年（570年）入北周。

隋初属庐州，后属庐江郡。文帝开皇初年（581年），改北沛郡新蔡县为淠水县（治所在今下符桥镇），废岳安郡，改岳安县为霍山县（治所在今城关镇）。

唐高祖武德四年（621年），以霍山、应城、潜城3县置霍州，并改淠水县为开化县。太宗贞观元年（627年），废霍州，应城、潜城、开化、灊县统入霍山，霍山兼有5县之地，属淮南道寿州。武后神功元年（697年），改名武昌县。中宗神龙元年（705年），仍名霍山县。玄宗开元二十七年（739年），改名盛唐县。天宝元年（742年），废盛唐别置霍山县，属淮南道寿春郡（治所均在今县城西郊古城畈）。

五代十国，初属忠正军寿州，南唐改忠正军为清淮军。后周复为忠正军，县名霍山，盛唐（治所分别在今城西郊古城畈和六安市）。

宋太祖开宝八年（975年），并入六安县，属淮南道寿州。徽宗政和五年（1115年），属淮西路寿春府。

元初，降为六安县故埠镇，属庐州路。泰定帝泰定二年（1325年），属淮西江北道。顺帝至正十二年（1352年），属淮南江北行省。

明太祖洪武初年，设故埠镇巡检司。孝宗弘治二年（1489年），以六安县一部及故埠镇巡检司的开化、兴贤二乡设霍山县，属庐州府，挂衔六安州，治所在故埠镇（今城关镇）。

清初沿明制，世宗雍正二年（1724年），属六安直隶州。

1912年，直属安徽省。

1915年6月——1917年7月属安庆道。

1921年10月，属安徽省第三行政督察区。

1929年8月，属安徽省第二行政督察区。

1936年9月3日，县城被中国工农红军解放，次日成立霍山县民主政府，受中共皖西工作委员会领导。

1938年4月，属皖北行署六安专区（1937年1月——1938年3月，在县西南同岳西、英山两县毗连地区成立太平县，县政府驻太平畈）。

1952年4月，属安徽省六安专区（1971年3月，改专区为地区），县政府一直驻城关镇（1987年下半年迁至新城办公）。