嘉义市古名“诸罗山”，其名由来有二： 一为“番语”社名之译音，荷兰人称之为Tirosen社，音近诸罗山社，一为取其东方“诸山罗列”之意。亦名桃城，以其古城形如桃而名，桃之尾尖，在今中央七彩喷水一带，市民惯称桃仔尾。

明永历十五年（1661年）郑成功驱逐荷人，建立台湾政权，设一府二县，即承天府与天兴、万年两县，以新港溪（今之盐水溪）为二县分界，嘉义隶属天兴县。清康熙二十二年，清政府对台湾实施统治，康熙二十三年设台湾府统三县，即分明郑时代的万年县为台湾、凤山两县，改天兴县为诸罗县，县署设于佳里兴（今之台南县佳里镇），康熙四十三年（1704年），县治自佳里兴迁移诸罗山，即今嘉义市。乾隆五十一年（1786年），林爽文反清，围攻诸罗城十月，城内人民协助清军有功，清政府本着“嘉其死守城池之忠义”的宗旨，翌年十一月初三日下诏，改称“诸罗”为“嘉义”。光绪十一年，台湾奉准正式建省，十三年，分全台为三府一直隶州十一县三厅，嘉义县属于台湾府，县治仍设于嘉义。

1920年，隶台南州于嘉义郡之下，开始实施地方自治，嘉义正式成为自治团体的嘉义街，1930年，嘉义街改升为市。

1945年，台湾光复，嘉义市升格为省辖市，直隶省政府。

1950年调整行政区域，嘉义市改为县辖市。

1982年7月1日，嘉义市恢复为省辖市。

1945年10月台湾正式归还。国民党政府接管台湾，考虑到地方自治的需要，乃将日本统治时期的五州三厅，改为八县，并将日本统治时期的11市改为9省辖市、2县辖市。其中：嘉义市管辖区域：东为新东区红毛埤，位于东经120°30′20″；西为新北区竹子脚，位于东经120°23′7″；南为新南区下路口，位于北纬23°26′40″；北为新北

区后湖，位于北纬23°25′18″。本市四周东与竹崎、番路二乡为邻，西接太保乡，南与水上乡毗连，北与民雄乡为界。面积为55.9317平方千米，人口75224人。管辖东门、西门、南门、北门、八奖、竹园、北镇、东山等8区。市政府设于嘉义市。

1950年台湾省调整各县市行政区域，其中台南县合嘉义市，分为台南、嘉义、云林三县。嘉义县辖嘉义市及嘉义、东石二区，计1市（6区）16乡镇，494123人，面积1951.3945平方千米。县政府设于嘉义市。

1982年6月24日，嘉义县嘉义市改制为省辖市。