夏、商、西周时期以及春秋时期，境内有颛臾国。

战国时，先属费国、鲁国，后属齐国。

西汉以后，属兖州泰山郡。

598年（隋开皇十八年），属颛臾县。

627年（唐贞观元年），撤颛臾县并入费县，柏林亦入费县，此后历经五代十国、宋、元、明、清，至民国。

1896年（光绪二十二年），费县下设柏林社。

1928年8月，为费县四区柏林乡。

1940年6月，中共山东分局，以费县境内西部滋(阳)临(沂)公路线段为界，路北置费北县，属之。

1945年1月，新置费北县柏林区。

1946年1月，撤销费北县、费东县，合置蒙山县，为第三区柏林乡。

1952年3月，蒙山县撤消，柏林乡归平邑县，属十一区。

1955年11月1日，各区改为以驻地命名，十一区改固城区。

1958年冬，改新华公社。

1959年3月7日，改柏林公社，撤销元帅公社并入柏林公社。

1961年5月，改柏林区，辖武安、柏林、杨谢、孝义、固城等5处公社。

1971年4月20日，恢复柏林公社。撤销原区公社，改为生产管理区(简称管区)，柏林公社增建花园管区。

1977年，柏林公社辖柏林、武安、杨谢、孝义、固城、花园等6处管区。

1984年4月15日，实行“政社分开”，改变人民公社、生产管理区体制，实行区乡建制；4月15日，改柏林区，辖柏林、宋合、固城、孝义等4个乡。

1985年8月31日，改柏林乡。

1993年7月1日，改柏林镇。

2012年2月8日，临沂市政府将该镇原有25个行政村中17个靠近蒙山的村划归临沂市蒙山管委会、另外8个地缘上不靠蒙山的村被划归温水镇，另将保太镇若干村庄划入，共计38行政村。