汉设枹罕县，明置河州，1913年改导河县，1928年改临夏县。因临近大夏河而得名。

1950年由临夏县城区设临夏市。

1973年撤销临夏市，并入临夏县。

1983年，恢复临夏市（县级），以临夏县的城关镇和城关、南龙、折桥、枹罕4个公社为临夏市行政区域。临夏县人民政府驻地迁至韩家集。

2000年，临夏市辖6个街道、4个乡：八坊街道、城南街道、城北街道、红园街道、东关街道、西关街道、城关乡、枹罕乡、南龙乡、折桥乡。

现临夏市辖6个街道、4个镇：城南街道、城北街道、东关街道、西关街道、八坊街道、红园街道、城郊镇、袍罕镇、南龙镇、折桥镇。