唐天宝十载（751年），割昆山县南境、嘉兴县东部和海盐县之北，设立华亭县，本地区隶属华亭县。

元至元十四年（1277年），升华亭县为华亭府。次年，改称“松江府”。

明嘉靖二十一年（1542年），割华亭、上海两县北境，建青浦县。佘山地区属松江府青浦县集贤乡38保。

清顺治十三年（1656年）华亭县的枫泾、胥浦两乡及集贤、华亭、新泾、修竹四乡部分土地建娄县，天马地区划属娄县。

民国元年（1912年），废松江府，华亭、娄县合并为华亭县，民国3年（1914年）改名“松江县”。佘山地区属青浦县，天马地区属松江县。

民国十八年（1929年），佘山地区属青浦县北风区、辰佘区。

民国二十四年（1935年），佘山地区属青浦县第八区。

民国三十七年（1948年）2月，佘山地区属青浦县佘山乡、干山乡。

1949年5月14日，青浦解放后，佘山地区成立佘山办事处、干山办事处。

1949年10月，青浦县设8个区，佘山地区属佘干区。

1954年12月，佘山镇划入松江县，成立佘山区。

1955年1月，成立天马乡。

1955年5月，佘干区的陈坊乡、余山乡、辰山乡、干凤乡划归松江县，与天马乡、新镇乡、横山乡合并成立佘山区。

1957年8月，撤区并乡，成立余山乡、天马乡。

1958年9月，成立佘山人民公社、天马人民公社。10月18日，天马人民公社改名“英雄人民公社”。

1959年3月，复称“天马人民公社”。

1978年3月，析天马公社建昆冈公社。

1984年4月，佘山、天马公社分别改建为佘山乡人民政府、天马乡人民政府。

1986年6月，撤乡建镇，成立佘山镇人民政府，实行镇管村体制。

1994年4月，撤乡建镇，成立天马山镇人民政府。

2001年1月，经上海市人民政府批准，佘山、天马山两镇合并，成立新佘山镇人民政府。