市南区建置始自德国侵占青岛时期，但所辖区域却历史悠久。

1388年（明洪武二十一年），即墨县东海边筑城设防建鳌山卫，下辖浮山所（全称：浮山备御千户所）、雄崖所。部分内地（据传多是云南、贵州、山西）人迁移到胶州湾东畔定居。从明朝永乐年间之后，市南区范围就陆续建立上青岛村、下青岛村、会前村、小泥洼村、小湛山村、大湛山村、田家村、大尧村、逍遥村、张家庄（后改名为亢家庄）、丁家庄、辛家庄。村民在农耕的同时也下海捕鱼。1578年（明万历六年），即墨获准在县境内开放青岛口（即市南区域内，天后宫前，栈桥东），青岛口海运贸易日趋活跃，通商闽、浙、苏、淮。

1863年（清同治二年），青岛口建立电报房、邮政局，出现了更多的商店和手工业作坊，市南区域中西部成为旅客、商人云集之地。

1891年（清光绪十七年），清政府议决在胶澳设防，是青岛建置之始；翌年，调登州镇总兵章高元率部移驻胶澳，在下青岛村东畔建总兵府（俗称老衙门，市人民会堂址），筑军营、炮台，建栈桥码头，青岛口（市南区西部沿海地域）一带逐渐形成初具规模的市镇。

1897年德国侵占青岛，1900年6月将租界分为内界、外界，内界称青岛区，包括青岛、大鲍岛、小泥洼、孟家沟、小鲍岛、杨家村、台东镇、扫帚滩、会前9个小区。其中青岛区大部位于今市南区；其余为外界，称李村区。

1910年，将内界原9个小区合并为青岛、大鲍岛、台东镇、台西镇4个区。

1914年日本第一次侵占青岛后，将占领区划分为青岛区和李村区，市南区位于青岛区。

1922年12月，中国政府收回胶澳，辟为商埠；根据《胶澳商埠章程》规定，定名为青岛市，以青岛市街、台东镇及台西镇之界址为区域，其他各地均称乡。市南区域大部分在市街及台西镇范围内。

1929年4月，南京国民政府接管青岛，确定青岛为特别市；至1933年3月，设甲等区5个、乙等区3个、丙等区4个，市南区域多属甲等区；后取消区的编制，1933年10月，市内于大港、台东和台西各设办事处1个，分别称为市区第一、二、三区联合办事处；市南区域大部分归联合办事处管理。

1935年5月，青岛市调整市乡办事处，市区于东镇、西镇、海滨、浮山等各设1个建设办事处。市南区地域在西镇、海滨、浮山、小港诸办事处的管理范围。

1938年1月，日本第二次侵占青岛，通过警察局等机构强制设立保甲组织；至1945年4月，在市南、市北、东镇、西镇、四方等范围分别设总联保办事处。

1946年南京国民政府第二次统治时期，青岛以警察区划为市南、市北、台东、四沧等7个区。以保甲区划为12个区（其中市区4个、乡区8个），4个市区分别为市南、市北、台东、台西4个区。市南区作为行政区划由此开始。

1949年6月2日青岛解放后，市南区开始进入新的历史发展时期。