早在7300年前的新石器时代，这里就有人类繁衍生息。山亭、西集等地曾发现多处大汶口文化、龙山文化遗址。

夏朝时期（约前21世纪-前16世纪初），南部属鄫国，北部属滕国。

殷商时期（约前16世纪初-前11世纪），南部先属蔇国，后属大彭国，北部为邾国。

西周时期（约前11世纪-前771年），南部属郑国，北部属滕郳。

春秋时期（前770年-前476年），南部属郑国，北部属滕国和邾国。

战国时期（前475年-前221年），前期，南部属兰陵，北部属滕国。前254年，现山亭区全境属楚。

秦（前221年-前206年），南部属鄫县，北部属滕县。

西汉（前206年-公元25年），南部属楚国氶县，北部属鲁国、沛国滕县。

东汉（25年-220年），南部属琅琊国的氶县、鄫县；北部属鲁国、沛国、蕃县、合乡县。

三国（220年-280年），南部属东海郡氶县、北部属东海郡蕃县、合乡县。

晋朝（265年-420年），南部属兰陵郡氶县，北部属彭城郡蕃县。

南北朝（420年-589年），南部属兰陵郡氶县，北部属鄫郡蕃县。

隋朝（581年-618年），公元583年，（隋开皇三年）罢兰陵郡，586年（隋开皇六年）改蕃县为滕县，北部属滕县。开皇十六年（公元596年）分氶县，置缯州、兰陵县。隋炀帝大业二年（公元606年）废缯州，省氶县入兰陵县，山亭南部属之。

唐朝（618年-907年），公元621年（唐武德四年），分属沂州琅琊郡氶县和滕县。

宋朝（960年-1279年），南部属京东东路徐州琅琊郡氶县，北部属京东西路徐州彭城郡滕县。

金代（1115年-1234年），南部属峄州，北部属滕州。

元代（1271年-1368年），山亭区全境属山东西路，南部属峄州，北部属滕州。

明代（1368年-1644年），山亭区全境属山东省济宁府（后属兖州府），南部属峄县，北部属滕县。

清代（1636年-1911年），现全境属山东省兖州府，南部属峄县，北部属滕县。

中华民国（1912年-1949年），镇街先后分别隶属滕县、峄县、峄县抗日民主政府，滕峄边工委（县委），费滕峄中心县（实验县），双山县、麓水县、白彦县管辖。

中华人民共和国，境内镇（街）先后属滕县、麓水县、白彦县、峄县、枣庄市齐村区管辖。

1983年11月，经山东省人民政府批准，并报国务院备案，由原滕县东部8处山区乡镇和原齐村区北部6处山区乡镇合并组成山亭区，为枣庄市市辖县级区。