含山秦时为历阳县地，属九江郡。汉高祖四年（公元前203），历阳属淮南国。元狩元年（公元前122），淮南国除，历阳仍属九江郡。武帝置十三州时，改九江郡为扬州，历阳属扬州。后汉因之。

西汉末年，王莽篡政，改九江郡为延平郡，改历阳县为明义县。

三国时，历阳属吴。

西晋时期，历阳先属扬州淮南郡，永兴元年（公元304），属新设历阳郡。东晋大兴二年（319），分历阳县境西部侨置龙亢县，县治在今县南40里，相传即今杨府城村，属扬州历阳郡。

南北朝时期，宋永初二年（421），龙亢属南豫州历阳郡，元嘉七年（430），属豫州历阳郡。大明三年（459），属南豫州历阳郡。齐建元二年（480），属豫州历阳郡。永明二年（484），属南豫州历阳郡。梁太清二年（548），侯景破历阳，江北之地尽属东魏。北齐天保六年（555），齐、梁通和，遂改历阳为和州，龙亢归和州。陈宣帝末，北周尽取江北之地，将龙亢县地并入历阳县，至此龙亢县废。

隋开皇十三年（593），历阳县属和州。大业三年（607），历阳县属历阳郡。

唐武德六年（623），分历阳县西部地区原龙亢县境域设含山县，县以境内的含山命名。含山，又名横山。《清一统志》说：“在含山县西三十里，崔巍雄峻，群山列峙，势若吞含，唐因以名县。”《太平寰宇记》又说；“以县境众山所含，故名含山县。”武德八年（625），含山县废，并入历阳县。长安四年（704），在原含山县境置武寿县，属淮南道和州。神龙元年（705），复名含山县，领属关系未变。自此含山县名沿用至今。

唐天宝元年（742），和州改为历阳郡，含山属淮南道历阳郡。乾元元年（758），历阳郡再改为和州，含山属淮南节度使和州。贞元十六年（800），属舒庐滁和都团练使和州。天祐元年（904），属淮南节度使和州。五代十国时期，含山初属吴、南唐，后属后周，均隶和州。

两宋时期，含山属淮南西路和州防御使。

元至元十三年（1276），含山属淮西总管府和州镇守万户。至元十四年，属庐州路总管府和州安抚司。至元十五年，属和州路。至元二十八年，和州路降为和州，属庐州路和州。

元至正二十七年（1367），含山县废，县南部分入无为州，余并入和州，属南京庐州府。

明洪武七年（1374），属南京凤阳府。洪武十三年，复置含山县，属京师直隶和州。

清顺治二年（1645），含山属江南左布政使司直隶和州。康熙六年（1667）属安徽布政使司直隶和州。

民国元年（1912），废道、府、州，含山县直属安徽省。

民国3年至17年，属安庆道。

民国18年至37年，先后属安徽省第八、第五、第九视察区和行政专员督察区。

民国27年，日军侵占含山县城，国民党政府转移谢集乡农村。次年4月3日迁回县城。

民国30年7月，县城再度沦陷，县城北迁仙踪镇。

民国34年7月17日县城光复，8月2日，县城由仙踪镇迁回县城。

民国29年，日伪于含南运漕镇另立含山县政府，民国31年迁铜城闸镇。

民国31年，由共产党领导在福山、陶家厂一带建立抗日民主政权，成立和含行政办事处，属皖中行署，后改属皖江行署。

民国32年秋冬，成立含巢行政督导处，后改为含巢行政办事处（为县级政权），驻福山乡，属和含专员公署，直至1945年9月新四军北撤。

1949年1月21日含城解放，含山属江淮解放区第五专区。同年6月，改属皖北行署巢湖专区。

1952年1月30日改属安徽省芜湖专区。

1958年12月15日，含山县、和县合并为和含县，属马鞍山市，县治设历阳镇。

1959年4月和含县属芜湖专区。

1959年6月1日，含山、和县分开，各还原建制。

1965年7月28日含山改属巢湖专区（后专区改为地区、行署），1999年8月5日撤销巢湖地区设地级巢湖市，属地级巢湖市，2011年8月，原地级巢湖市区域调整，含山县划归马鞍山市。