早在旧石器时代晚期就有古人类劳动、生息、繁衍在黑龙江流域这片广袤的土地上。

前16世纪，居住在今黑河市北部、嫩江流域的东胡、秽貊等族居民，同商王朝有过“东胡黄罴，山戎戎荪”的贡纳关系。到西周初年，居住在黑龙江中、下游的肃慎族已向周王朝贡。

三国时属扶余。

唐朝，黑龙江中下游属黑水靺鞨。725年，唐朝设立黑水都督府，黑水靺鞨之。唐王朝直接任命长史。792 年，唐王朝为加强对室卫人居住地区的统治，又设立都督府。

金朝，属上京路所辖蒲峪路。元朝属辽阳行省的开元路和水达达路。为沟通内地与黑龙江流域的联系，建立了许多“站赤“。

明朝，设立奴尔干都司，女真、契丹均属之。为了便于管理和联系，奴尔干都司在东北地区设立卫、所、站、面、寨。黑河大部分地区属萨哈连地面，亦称黑龙江地面。黑河最早的行政建制是，1684 年10月即清朝康熙二十三年十月，为了抵抗沙俄略者，清政府在黑龙江左旧瑷珲城设置了黑龙江衙门（同时设1名将军和2名副督统，1685年即康熙二十四年，黑龙江将军衙门迁到黑龙江右新瑷珲，即今爱辉区瑷珲镇）。1690年（清康熙二十九年），黑龙江将军衙门又移驻墨尔根（今嫩江县城），瑷珲副督统留守原城并从属黑龙江将军。

民国年间，黑河市大部分地区为黑河道尹公署管辖。

1933年1月25日，日本侵略者占领黑河，1934年12月1日，成立伪黑河省。

1945年8月，黑河解放。11月19日，成立嫩江省黑河地区行政办事处。11月中旬，成立中共黑河地区中心县工作委员会。12月14日，嫩江省黑河地区行政办事处更名为黑龙江省黑河地区行政办事处。

1946年9月7日，黑龙江省政府决定设立黑河地区行政督察专员公署。

1947年初，黑龙江、嫩江两省合并为黑嫩省。

1947年2月7日，黑龙江省黑河地区行政督察专员公署改称为黑嫩省第五行政督察专员公署。

1947年9月17日，原黑嫩省第五行政督察专员公署改称为黑龙江省黑河行政督察专员公署。

1950年1月16日，黑河行政区督察专员公署改称为黑龙江省黑河区专员公署。

1955年4月19日，黑河区专员公署改称为黑龙江省黑河专员公署。

1967年4月9日，成立黑河地区革命委员会。

1979年2月8日，撤消黑河地区革命委员会， 成立黑龙江省黑河地区行政公署。

1993年2月8日国务院决定撤消黑河地区，设立黑河市（地级）至今。