西周时代，市北区属东夷地。

春秋战国时期，市北区地域属齐国。

秦始皇统一中国后，实行郡县制，市北区属琅琊郡。

西汉时期，市北区属不其县辖域。

北齐天保七年（公元556年）后的41年，市北区属长广县。

从隋代开皇十六年（公元596年）起，至明末，市北区境域一直属即墨县。

，市北区境域属即墨县仁化乡文峰社。

1891年6月14日，清廷内阁明发上谕，允准在胶州湾设防，青岛建置。随青岛的建置，市北区才有了建置的基础和条件。最早组成市北区的5个村子是大鲍岛村、小鲍岛村、孟家沟村、杨家村、扫帚滩村。

1900年，德国侵占胶澳时期，德国当局把租界分为内界和外界两大区，大鲍岛、小鲍岛、孟家沟、杨家村、台东镇、扫帚滩等，属青岛内界区域。

1901年，台东镇已初具规模。

1914年，日本第一次侵占青岛时期，日本将占领区划分为青岛区和李村区。当时，市北区地域属青岛区。

1922年，北洋政府接管胶澳后，将青岛市内划分为青岛市街、台东镇、台西镇，其他各地均称乡区。市北区地域属青岛市街。同年，将台东镇改为台东区，台东区正式建置。

1929年，南京政府第一次统治青岛时期，南京政府将青岛市划分为6个区，市北区属第二区，台东区属第四区。

1945年，日本投降之前，青岛特别市将市区划分为7个直辖区和3个行政办事处。市北区和台东镇均属直辖区。

抗战胜利后，国民党青岛市政府于1946年3月17日，将全市划为12个区，在其中的4个市区中，正式使用了“市北区”这个名称，这应属市北区建置之初。

1949年，青岛解放前夕，国民党政府实行警保统一，将青岛市划分为6个市区和6个乡区。市北、台东两区在市区之中。

1949年5月，在莱阳县建立台东分区军政委员会。6月2日，青岛解放时，随解放军入城接管台东区工作。

1949年6月，台东区人民政府建立。

1950年3月，台东区人民政府改为青岛市人民政府台东区区公所。

1950年7月，恢复台东区人民政府。

1949年9月，成立市北区人民政府。

1950年3月（民政局资料为1949年12月），改称市北区公所（即市政府派出机构）。

1951年7月，改称市北区人民政府。

1994年5月，根据国务院“国函（1994）32号”、省政府“鲁政函（1994）74号”文件批复，对青岛市市区行政区划作重大调整。5月12日，中共青岛市委、市政府以“青发[1994]17号”文件《中共青岛市委市政府关于认真做好行政区划调整工作的通知》，正式宣布市区行政区划调整方案，撤销台东区，将原市北区和台东区及部分四方、崂山区域合并，形成新的市北区。