由于境内有座章丘山（现女郎山）而以山命名。

早在8000多年前，境内即有人类繁衍生息。商代，东、北部为蒲姑国。商末，西部为谭国（都城在今龙山街道城子崖）。春秋时期，先后为谭国和齐国诸侯封地赖邑、宁邑、台邑、崔邑。战国，属田齐。秦，属济北郡。西汉，属青州部济南郡（治东平陵城）。

汉景帝四年（前153年），首次置县称阳丘（治回军镇，今绣惠街道回村）等。东汉时，中部为阳丘县，北部为菅县、猇县，南部为土鼓县。后阳丘、猇县并入东朝阳县。魏晋时期，东朝阳县属乐安国。南北朝刘宋，改东朝阳县为朝阳县，属齐郡。北齐，废朝阳县置高唐县（治回军镇）。北齐天保七年（556年），高唐县迁治女郎山（章丘山）南建城。隋开皇十六年（596年），“以博州亦有高唐，改为章丘县”，取县北山章丘为名。唐贞观元年（627年），属河南道齐州济南郡。宋、金，属济南府。元，属山东东路西南道济南路总管府。明、清，皆属济南府。

民国初，属岱北道。

民国3年（1914年），改属济南府。

1945年8月，划为章丘、章历2县，属泰山专区。

1950年4月，两县划归淄博专区。

1953年9月，章历县并入章丘县（治旧章丘城，今绣惠街道驻地），划归泰安专区。

1958年8月，县治迁明水。同年11月，泰安专区撤销，属济南市。

1961年5月，泰安专区恢复，又划归泰安专区。

1979年1月，复属济南市。

1992年8月，撤章丘县设章丘市（县级）。