常山历史悠久，春秋时期为越国姑篾之地，战国归楚，

秦属会稽郡太末县。建县已近1800年的历史。

东汉建安二十三年（218），析新安县置定阳县，县址定阳（今招贤镇），属会稽郡。为建县之始。

三国吴国宝鼎元年（226），改属东阳郡。

南朝宋、齐、梁三代，隶属不变；陈永定三年（559），置信安郡，领信安、定阳2县，隶缙州。

隋大业三年（607），太末、定阳2县并入信安，隶东阳郡。

唐武德四年（621），分婺州于信安置衢州，并分置须江、定阳2县，信安遂为州治；同时，析太末县之西设白石县并置濲州，州领太末、白石2县，白石为州治之所；七年（624）废衢州，并定阳、须江、白石、太末4县入信安县，隶婺州；武后垂拱二年（686），复置衢州，辖信安、龙丘、常山（县以境内山命名，此为常山地名之始）3县，属江南道，信安为州治；证圣元年（695），分须江、定阳、弋阳3县置玉山县，隶衢州；天宝元年（742），改衢州为信安郡；乾元元年（758），复为衢州，同年，玉山县改隶信州；此后，常山县域基本不变，一直隶属衢州。

明太祖己亥年（1359年亦即元至正十九年），改衢州路为龙游府，治所西安县；丙午年（1366年亦即元至正二十六年），又改龙游府为衢州府，西安倚廓，隶浙江等处行中书省（洪武九年改浙江承宣布政使司）金衢道；永乐二十二年（1424），建越王府；宣德二年（1427），越王府除。

清代沿袭明制。

1958年11月，常山并入衢县；1961年，复置常山县；辖区不变隶属金华专区；1985年5月，金华地区撤销，衢州市升省辖市，原衢州市分设柯城区与衢县，实行市管县，常山属衢州市。