距今3-5万年乌珠台智人牙齿化石在此出土，证明新泰是上古东夷区域开化最早的地方。

春秋，属鲁国平阳邑。

西汉，置东平阳县，属泰山郡。

东汉，省入南城县（今属平邑）。

三国魏复置，属泰山郡。

西晋泰始中，羊祜上表，改东平阳县为新泰县，以北枕新甫、西瞻岱岳，取新甫泰山首字得名，属泰山郡，后改属东安郡。

北齐，蒙阴县并入，属琅邪郡。

北魏有两个新泰县，一为今境内之新泰，属北徐州东泰山郡；一为今蒙阴、平邑境之新泰县，属南青州东安郡。

隋初整肃郡县，仅存原北徐州之新泰县，属莒州，大业二年（606年）莒州废，新泰县属沂州；原南青州之新泰县于开皇四年（584年）改称东安县，旋改为沂水县。

唐武德五年（622年），复置莒州于沂水县，新泰县属之。

贞观八年（634年），废莒州，新泰县仍属沂州。

金朝，隶属泰安州。

元朝，入莱芜县，后复置。

清初，属泰安州，雍正十三年（1735年）属泰安府。

1913年，属岱北道（次年改称济南道）。

1925年，属泰安道。

1928年，道废，县直属于省。

1938年，属国民党山东省第十二行政督察区。

1939年10月，中共建立抗日民主政权，初属泰（安）莱（芜）历（城）章（丘）淄（川）博（山）新（泰）七县行政联合办事处。

1940年4月后属泰山区行政专员公署管辖。

1941年9月，因抗日斗争形势严峻，撤销新泰县，其东部的龙廷、北师、岙山、城关4区与蒙阴县北部的野店、高都、大崮、黄庄、张庄、寨子6区合并置新蒙县，汶河以南的五、六两区划归泰宁县，西部的第二、三、四区与莱南县合并置新甫县； 该3县均属泰南区行政联合办事处管辖。

1942年初，新甫县转属泰山专区，1943年1月复属泰南区行政联合办事处。

1943年8月撤销新蒙县，其东部的6个区划归蒙阴县，西北部的4个区与中共新（泰）西工委辖区（未建政权）合并置新泰县，仍属泰南区行政联合办事处。

1944年初泰南区行政联合办事处改为泰南区行政专员公署，隶属关系一仍其旧。同年7月新甫县部分辖区并入新泰县。

1945年10月，泰南专区撤销，新泰、泰宁等县转属鲁中行政区第二（沂蒙）专区，原新甫县则改属泰山专区。这时的新泰县基本恢复了抗战前的行政区划。

1949年6月，新泰县改属泰山专区。

1950年5月，属泰山、泰西两专区合并建立的泰安专区。

1956年3月，撤销徂阳县（1952年8月泰宁县更名徂阳县），其东部西柳、柴城、天宝3区及楼德镇划归新泰县。

1958年12月，泰安专区撤销，新泰县改属济南市。

1960年3月，析新泰县孙村公社及汶南、城关、宫里3公社各一部置新汶市（县级），市机关驻孙村，属济南市管辖。

1961年7月，泰安专区（1967年改称泰安地区）恢复，新泰县和新汶市均属之。

1983年8月，撤销新汶市、 新泰县，二者合并置新泰市，隶属不变。

1985年3月，泰安地区撤销、县级泰安市升为地级市，新泰市由泰安市代管。