阳山地域，古为南交地，周时属楚，战国时境内有阳禺国，

治所在今县之东，即青莲峡头一带。

秦时为长沙郡南境。

西汉，汉高祖析长沙郡南部设桂阳郡，置阳山县，属荆州桂阳郡。汉献帝建安十九年（214），孙权取桂阳郡地，遂属孙权。建安二十五年（220），入含洭县。吴甘露元年（265），析桂阳郡置始兴郡，仍属荆州，以含洭县之桃乡置阳山县，属始兴郡。

晋太康元年（280），始兴郡隶属广州；永嘉元年（307），始兴郡改隶属湘州，咸和三年（328），始兴郡又改为隶属荆州。阳山县皆随始兴郡改属。

南朝宋时，阳山县属始兴郡。南朝宋文帝元嘉二十九年（452），始兴郡隶属广州。元嘉三十年（453）又改隶属湘州，阳山县皆随郡改属。南朝宋太宗泰始六年（470），析始兴郡置宋安郡，隶属湘州，阳山县属湘州宋安郡。南朝宋明帝泰豫元年（472），废宋安郡，阳山县仍归属始兴郡。南朝宋后废帝元徽四年（476），改始兴郡为广兴郡，阳山县属湘州广兴郡。南朝齐高帝建元元年（479），又改广兴郡为始兴郡，阳山县属湘州始兴郡。南朝梁武帝天监六年（507），置阳山郡、梁乐郡（今县境南部，治所失考），属衡州（治所在含洭）。阳山郡辖含洭、阳山、桂阳、广德四县，梁乐郡辖梁乐、洊安两县。陈因之。

隋开皇十年（590），平陈，废阳山、梁乐两郡，置连州，阳山、梁乐两县属连州。开皇十八年（598），梁乐县改为宣乐县。大业三年（607），废连州，置熙平郡，隶属荆州，阳山、宣乐两县属荆州熙平郡。大业十三年（617），宣乐县并入阳山县，熙平郡属萧铣。

唐武德四年（621），平萧铣，改熙平郡为连州，阳山县属连州。贞观元年（627），连州属江西道；天宝元年（742），改连州为连山郡，隶属岭南道。乾元元年（758），连山郡复为连州，隶属湖南道。大历三年（768），连州改隶岭南道。阳山县俱随州郡改属。五代南汉时，阳山县属连州。

宋开宝四年（971），平南汉，阳山县属广南东路连州。

元至元十七年（1280），置连州路，阳山县属连州路。元至十九年（1282），升桂阳县为桂阳州，初隶属湖南道，后隶属广东道，阳山县属桂阳州。

明洪武元年（1368），阳山县仍属桂阳州。洪武二年（1369）四月，废桂阳州，阳山县并入连山县，属韶州府。洪武十四年（1371），复置阳山县，属广州府。洪武十三年（1380）十一月连山县从阳山县析出。洪武十四年（1381），复置连州，阳山县隶属广州府连州。

清初，阳山县仍属广州府连州。雍正七年（1729），改连州为直隶州，阳山县属连州直隶州。

民国3年（1914），阳山县属广东省岭南道。

民国15年（1926），属广东省北区。

民国25年（1936），改属广东省第二行政区。

1949年10月1日，中华人民共和国成立。

1950年1月，属广东省北江区。

1952年9月，属广东省粤北行政区。

1956年3月，属广东省韶关专区。

1958年11月，阳山县并入连阳各族自治县，1960年10月，复置阳山县，均属广东韶关专区。

1979年，属广东省韶关地区。

1983年6月，属广东省韶关市。

1988年2月属广东省清远市。