佳木斯原名“甲母克寺噶珊”、“嘉木寺屯”，为满语，意译为“站官屯”或“驿丞村”。

早在6000年前，佳木斯地区就有人类活动。历史文献记载，在公元前20世纪夏商之际，肃慎人即在此地繁衍生息，并向中原王朝连年朝贡，接受管辖与封赏。

汉晋时代，肃慎改称为挹娄，南北朝时称为勿

吉，隋唐时称为靺鞨，均臣服中原王朝。

唐朝曾设立黑水都督府，管辖今佳木斯一带。

辽时靺鞨改称女真，辽王朝在依兰以下沿松花江、黑龙江两岸建立五国部，管辖这一地区。

元初归开元路，后属水达达路。明代于黑龙江入海口附近设立奴儿干都司，统辖黑龙江、松花江和乌苏里江流域，直至库页岛广大地区。

清代初年设宁古塔昂邦章京，管辖吉林、黑龙江地区，北至外兴安岭，东至滨海及库页岛。清雍正十年(1732年)增设三姓副都统。

1888年（清光绪十四年），依兰旗署设东兴镇(后改为佳木斯镇)。

1906年（清光绪三十二年）设置依兰府，归依兰府管辖。

1909年改属桦川县。

1910年3月1日（清宣统二年正月二十日）正式设置桦川县，改隶桦川县管辖。桦川县署驻东兴镇。

1912年11月迁往悦来镇。

1925年1月，桦川县公署在佳木斯设“佳木斯行署”，县知事在佳、悦两地轮流办公。

1929年5月5日改为“桦川县驻佳木斯办事处”。

1930年佳木斯屯与东兴镇合并，定名为“佳木斯镇”，隶属桦川县管辖。

1931年“九·一八”事变后，属伪满洲国三江省。

1934年12月1日，伪满洲国实行新省制，将东北地区分割为14个省。其三江省省公署设在佳木斯。辖1市(佳木斯市)、14县，其中乙种县1个，即依兰县；丙种县8个，即桦川、富锦、方正、抚远、宝清、通河、萝北、汤原；丁种县5个，即同江、勃利、饶河、凤山、绥滨。

1937年设市，为省会。

1937年6月27日，伪满决定，调整行政区划，设置佳木斯市，9月成立佳木斯市制筹备处，12月1日正式成立伪佳木斯市公署，由三江省管辖。

1945年“九三”抗日战争胜利后，同年10月下旬，在中国共产党领导下，在佳木斯成立三江地区行政公署。

1945年11月17日，成立中共合江省工作委员会，李范五任书记。

1945年11月21日，三江地区行政专员公署撤销；成立合江省政府，省会设在佳木斯。

1946年将市郊纯农村部分村屯划归桦川县管辖。

1948年7月9日，东北行政委员会命令撤销牡丹江省，该省所辖东安地区的6县划归合江省管辖。此时，合江省共辖21市、县。9月27日，汤原、鹤立两县合并为汤原县。

1949年5月，合江省共辖佳木斯、兴山、东安3市，富锦、依兰、虎林、绥滨、汤原、桦南、宝清、抚远、萝北、桦川、勃利、密山、同江、佛山、集贤、饶河、鸡宁、永安、依东、双河、刁翎、林口等22县。

1949年4月21日，东北行政委员会决定，重划东北行政区域，撤销合江省建制，并入松江省。5月11日，合江省政府停至办公。

1952年1月，将桦川县的耿家、模范、双合、四丰、中兴5个村划归佳木斯市管辖。同年全市分设4个区。

1954年8月，松、黑两省合并后，由黑龙江省直辖。

1954年10月1日，中共黑龙江省委、省政府决定成立中共合江地委、合江专员公署，机关设在佳木斯市。

1956年，将与市郊周围毗连的桦川县太平山、三家子、新华、靠山、蒙古力、新民6个村划归佳木斯市管辖，同年3月，桦川县人民委员会由佳木斯移驻湖南营镇。

1957年11月，将桦川县的黑通、西格木、永安、大来岗、裕太、兴华6个乡和四合山乡花园屯划归佳木斯市管辖。

1958年1月，全市人口超过20万人，恢复市辖区，分设长安、三合、和平3个城市区和1个郊区。

1958年6月18日，省政府决定，将佳木斯、鹤岗、双鸭山3市划归合江专署管辖。

1959年3月，将桦川县的悦来、新城、星火3个公社划归佳木斯市管辖。

1960年1月7日，饶河县与虎林县合并成立虎饶县，划归牡丹江农垦局管辖。

1960年4月29日撤销集贤县，设立友谊县，受合江专署和合江农垦局双重领导。

1961年1月，增设佳东区。同年3月，撤销郊区。

1962年10月20日撤销友谊县，恢复集贤县。

1963年2月1日，虎饶县划归合江专署管辖。同年12月30日设立绥滨县，归合江专署管辖。

1964年6月撤销虎饶县，相继恢复虎林、饶河、桦南和友谊县，归合江专署领导。

1964年8月，为缩小城市郊区，将郊区的大来、永安、西格木、悦来、建国、星火、拉拉街、苏家店、中伏、梨树、新城11个公社划归桦川县管辖，但西部的大来、永安、西格木3个公社因距桦川县城较远，不变领导，仍由佳木斯市代管。

1965年2月2日撤销勃利县七台河镇，成立七台河特区，受合江专署领导。同年8月23日恢复同江县，归合江专署领导。

1966年2月8日，佳木斯、鹤岗双鸭山3市改为省直接领导。

1968年4月8日，佳木斯市划归合江地区管辖。同年8月10日，合江地区和佳木斯市合并称合江地区革命委员会，对外仍保留佳木斯市名称。

1968年12月13日撤销友谊县建制。

1970年4月1日，虎林县划归牡丹江地区管辖；七台河特区改为七台河市建制。

1972年恢复设立郊区，全市共辖5个区。

1973年3月31日，地、市分开，恢复佳木斯市建置，仍归合江地区管辖。

1978年12月，将桦川县的大来、永安、西格木3个公社划归佳木斯市管辖。

1982年8月，将依兰县的高峰、桦南县的陡沟子和桦川县的顺山堡等6个生产大队划归佳木斯市管辖。

1983年10月8日，佳木斯市、七台河市改由省直接领导。勃利县划归七台河市管辖。

1983年11月1日，佳木斯市改由省直辖。

1984年12月15日，国务院批准，撤销合江地区，实行地市合并，将其原辖的依兰、汤原、桦南、桦川、萝北、绥滨、富锦、集贤、宝清、饶河、同江、抚远、友谊13县，于1985年1月1日正式划归佳木斯市。

1985年1月1日撤销合江地区行署，地市合并称佳木斯市，实行市管县体制。合江行署所属各县，由佳木斯市管辖。

1987年2月，同江撤县设市，由佳木斯市代管。同年11月，将佳木斯市所属的萝北、绥滨两县划归鹤岗市领导；将集贤县划归双鸭山市领导。

1988年8月，富锦撤县设市，由佳木斯市代管。

1991年4月1日，将佳木斯市所属的依兰县划归哈尔滨市领导；将宝清、友谊两县划归双鸭山市领导。

1993年7月5日，国务院批准将佳木斯市的饶河县划归双鸭山市管辖。

2004年，经省政府同意，佳木斯市对市辖区行政区域进行部分调整：将郊区的松江乡整建制划归东风区管辖；将东风区佳南办事处的红霞、三江、宏达、双合四个社区划归前进区管辖；将郊区四丰乡的南岗村整建制划归前进区管辖；将永红区的建设街道、长安街道、友谊街道的西站、北铁西、南铁西三个社区和郊区长青街道的江南社区、万发社区、长青乡的长青村，四丰街道的和平社区、四丰乡的新丰村划归向阳区管辖。同年，将郊区的建国乡整建制划归东风区管辖。

2006年7月27日，撤销佳木斯市永红区，将其所辖行政区域划归佳木斯市郊区管辖。调整后，佳木斯市辖4个市辖区、4个县，代管2个县级市。

2011年，经省委、省政府批准，抚远归省直接管理。

2016年，民政部（民函[2016]14号）批复同意撤销抚远县，设立县级抚远市。