颍上历史悠久。据南照镇铜台孜发现的陶、石器等物考证，此地为新石器时代遗址。至迟在原始社会晚期，这里已有人类聚居。

按其沿革，远在夏商时代，属豫州。周为“慎邑”，属楚国。秦为“慎县”，属泗水郡。

汉高祖初，“慎”属楚王韩信封邑。韩信被诛，置汝南郡。武帝置13州刺史部，“慎”属豫州部汝南郡。

新莽改“慎县”为“慎治”，汝南为汝汾。

东汉复为“慎县”，属汝阴郡。

三国时，魏景初二年（238年）划属汝阴郡。

晋怀帝时，中原大乱，晋豫州淮北地区被北方石赵夺去，“慎县”属扬州管辖。东晋永和五年（349年）收复，仍属豫州汝阴郡。

南北朝属宋地，把山西雁门旧县侨置慎地，名为“楼烦令”（按《宋书》郡县均带官名），属豫州刺史、西汝阴太守。将“慎县”置于南汝阴郡合肥以东，后避讳称梁县（今肥东县梁园镇）。齐仍为楼烦，属汝阴郡。

永元二年（500年），没于元魏，属扬州。

梁武帝六年（507年），设置下蔡、楼烦、宋3县。下蔡、楼烦共为下蔡郡，属豫州。宋县（今南照集以北和阜南县东部），属汝阴、弋阳2郡。东魏以下蔡、楼烦共为下蔡郡，属扬州。

北齐以下蔡、楼烦属扬州汝阴郡。

陈楼烦县没于北周，属同北齐。

隋大业二年（606年），楼烦县改名颍上县，当时并有原下蔡（今凤台西南一带）、楼烦（慎地）2县的辖地，属豫州汝阴郡。

唐朝，属河南西道，颍州汝阴郡。乾元元年（758年），复属颍州。

赵宋初年，属京西北路，顺昌汝阴郡。

南宋绍兴三十一年，即金世宗大定元年（1161年），金军占领顺昌，将顺昌改为颍州，辖颍上。

金元光二年（1223年），改属寿州府寿州。元代至元二年（1265年），省颍上县入颍州，后复置颍上县，仍属颍州。

至元三十年（1293年），属河南江北行省汴梁路汝宁府颍州。

明洪武四年（1371年）二月，属中都临濠府颍州。洪武六年（1373年）九月，属中立府颍州。洪武七年（1374年）八月，属凤阳府颍州。

清代顺治初，属江南左布政使司凤阳府颍州。雍正二年（1724年），升颍州为直隶州；十三年，又升颍州府，颍上均属其辖。

民国元年（1912年）1月，裁府留县，民国3年分道，属淮泗道。24年（1935年）废道设行政督察区，区下设县，属安徽省第七行政督察区。29年（1940年）8月，划属第三行政督察区。35年（1946年）属阜阳行政督察专员公署。

1947年，颍河以北的谢桥、龚集、江口、杨湖、夏桥一带，属共产党新四军领导的阚疃县民主政府。

1948年2月，颍河以南属豫皖苏分局及豫皖苏边区第四分区，成立颍阜县民

主政府。

1948年4月，豫皖苏边区第六分区在颍河北岸设颍上县民主政府。

1949年1月6日，颍上解放，恢复旧建置，成立颍上县民主政府。同年4月21日，划属皖北行署阜阳专员公署。

1952年4月12日，皖南、皖北行政公署合并，成立安徽省，阜阳仍为专员公署，辖颍上。

1954年7月，成立颍上县人民委员会。

1968年8月，“文化大革命”期间，改为颍上县革命委员会。

1980年5月15日，复名颍上县人民政府至今。