据1988年发掘的虞山镇境内最早原始文化遗址钱底巷新石器文化遗址证实，早在5000多年前，就有人类在常熟这方沃土聚居生息。

夏、商时期，虞山镇地域为扬州属地。商末（前11世纪）周太王古公父之子泰伯、仲雍让国南来，建勾吴古国。武王灭纣后（前841年），封仲雍曾孙周章为吴王，立吴国。虞山镇地域时为吴国北境。

东周元王五年（前471年），越灭吴，虞山镇地域隶于越。显王三十六年（公元前333年），楚灭越，虞山镇地域隶于楚。

秦统一中国，实行郡县制，常熟地域属会稽郡吴县。

西汉景帝前元时期（前156～前150年），虞山镇地域上首次设虞乡建置，仍隶于会稽郡吴县。

东汉永建四年（129年），会稽郡浙江以西另设吴郡，虞乡隶于吴郡吴县。其时，虞山镇地域内又增设南沙乡，并在该乡置司盐都尉署，开虞山镇地域史设吏治之先河。

三国鼎立期间，虞乡、南沙乡同属东吴吴郡吴县。

西晋太康四年（283年），“分吴县之虞乡立海虞县”（《宋书·州郡志》）。隶于吴郡，此为虞山镇地域划入海虞。

东晋元帝初年（317年），以海虞县北境侨设郯县、朐县、利城县，为南东海郡。东晋咸康七年（341年），南沙乡升为南沙县。

南北朝时期，南齐永泰元年（498年），海虞县北境设海阳县，隶于晋陵郡。梁大同六年（540年），以南沙之地置常熟县，县治之地设南沙城（即今福山），是为常熟县名之始，虞山镇地域划入常熟县。

梁天监六年(507)，置信义郡，郡治南沙。以土地肥沃年年丰收，南沙更名为常熟。

隋开皇年间（581年），废信义郡及所辖海阳、前京、信义、海虞、兴国等五县并入常熟，县治设于原南沙城。

隋开皇九年(589)，废晋陵郡，升常熟建常州。

唐武德七年（624年），常熟县治移至海虞城即现之虞山镇方塔街附近，隶于吴郡。

五代十国期间，常熟属吴越国，是吴越国的北方边界。县治海虞城（虞山镇方塔街附近）

宋代，常熟属平江府。县治海虞城（虞山镇方塔街附近）

元代元贞元年（1295年），常熟县升为常熟州，隶于平江路，县治海虞城（虞山镇方塔街附近）

明代洪武二年（1369年），复降为县，隶于苏州府，县治海虞城（虞山镇方塔街附近）

清雍正四年（1726年），析常熟县东境置昭文县，两县治同城。咸丰十年（1860年），太平军攻占常熟、昭文，两县同属苏福省。同治元年(1862年)，太平军退，两县仍隶于苏州府。海虞城正式更名虞山镇。

1949年4月27日，常熟解放。同年5月析常熟城区置常熟市，余为常熟县。市政府驻地虞山镇。

2004年5月26日，原虞山镇、大义镇合并成立新的虞山镇。