蒙阴县，古为有穷国。

西汉初建县，因在蒙山之阴而得名，

隶属兖州泰山郡。王莽篡位后，曾改称蒙恩县。

东汉初，地属盖、牟二城。

三国魏复置蒙阴县，属徐州琅邪郡。

西晋末因战乱废。

南北朝时，北魏于蒙阴地置新泰县，属南青州东安郡。

东魏时，东安郡之新泰县改称蒙阴县，仍属东安郡。

北齐将蒙阴县并入东泰山郡之新泰县。

自此经隋、唐五代直至南宋景定三年，共712年，都属新泰县。

南宋景定三年（1262年），蒙阴地又由新泰县划入沂水县，称新泰镇（旧蒙阴县志叫新寨镇）。

元皇庆二年（1313年），重建蒙阴县，属益都路莒州。另据《重建蒙阴县碑》载，重建蒙阴县为元延佑二年。

明洪武二年（1369年），属青州府。

清雍正八年（1730年），改属莒州。

雍正十二年（1734年），属沂州府。

民国二年（1913年），废府设道，蒙阴县属济宁道。

民国十四年（1925年），

改属琅琊道。

民国十七年（1928年），废道，直属于省。

民国二十五年（1936年），属山东省第三区行政督察专员公署。

民国三十年（1941年）9月，将原蒙阴县的大部分地区划为新蒙县、泰宁县、博莱县。蒙阴县属鲁中区二专区。

民国三十二年（1943年）3月，蒙阴县撤销，同年9月恢复，仍属二专区。

1947年，蒙阴县更名为灵甫县。

1949年，恢复原名。

1949年7月，属沂蒙专区。

1950年6月，改属沂水专区。

1953年8月，属临沂地区。

1994年12月，临沂撤地设市，仍属临沂市，至今。