吕梁的建置，最早可追溯到春秋时代，当时吕梁有屈邑、平陵邑、中阳邑及瓜衍县等。公元前376年，韩、赵、魏“三家分晋”以后，吕梁为赵国境域，境内设有中阳、兹氏（即前瓜衍，今汾阳、孝义一带）、大陵（即前“平陵”，今文水）等。秦庄襄王四年（前246）设太原郡后，吕梁遂为太原郡境域，设有大陵、兹氏等县。
汉初，吕梁仍为太原郡境域。汉武帝元朔四年（前125年）分设西河郡后，吕梁分属西河、太原、平阳三郡。大陵、平陶（今文水平陶村）、兹氏为太原郡辖县；蔺、皋狼、中阳、离石、土军、隰、临水为西河郡辖县；蒲子县为平阳郡辖县。王莽代汉后，兹氏县改兹同，大陵县改大宁，平陶县改多穰，临水县改监水。东汉始立后各县遂复旧名。
东汉初，吕梁属于西河、太原、河东三郡。离石、蔺、皋狼、临水、中阳、平周为西河郡辖县；大陵、平陶、兹氏为太原郡辖县；蒲子县属河东郡。永和五年（公元140年）九月“因匈奴寇掠，西河郡治南徙五百九十里”迁至离石县，为吕梁境内最早的郡级建置。同年，临水县并入离石。中平年间美稷县“南徙于兹氏县界，寻废”。建安二十一年（公元218年）“南匈奴内附”， 左部居于兹氏，中部居于大陵。
三国初分，吕梁为魏国境域。黄初二年（公元221年）设置西河郡，治兹氏县，辖离石、中阳等县；大陵、平陶二县仍属太原郡，蒲子县仍为平阳郡辖县。
西晋，吕梁境内各县分属于西河国和太原国，属县未变，仅兹氏县改隰城（西河国附郭县，今汾阳）。东晋十六国时期，吕梁境内较为混乱。后赵石勒元年（公元319年）“以离石县境荒废”设置永石郡，寻改西河，后燕置离石护军。永兴后西河郡并入太原郡。
北魏初立，吕梁为太原郡境域，设置有大陵、平陶、兹氏等县。天兴初增设离石镇，延和三年（公元434年）设吐京镇，太平真君九年（公元448年），吐京镇下设岭东、岭西二县，平陶县讳拓拔焘改平遥县，后移出区境，大陵县改受阳。太和八年（公元484年）复置西河郡，太和十年（公元486年）吐京镇改吐京郡，同年，废蒲子县，设汾州，吐京、西河等五郡为其辖郡。太和十七年（公元493年）设永安县，太和二十一年（公元497年）岭东县改新城，岭西县改吐京。
东魏，吕梁仍为汾州和太原郡境域，汾州辖西河、吐京等郡，隰城、永安二县属西河郡；吐京、新城二县属吐京郡；受阳县仍属太原郡，离石境域仍设离石镇。
北齐、北周之际，吕梁当两政权纷争之地，北齐斛律金所筑长城的起点——金锁关即在区内黄芦岭上，今遗址尚存。当时吕梁境内设有西汾州怀政郡、南朔州西河郡、吐京郡神武郡和并州太原都。南朔州系由汾州改称，治所仍设隰城，西河郡隶属之。离石镇改怀政郡，辖县有昌化、良泉等县，蔚汾县属神武郡，受阳县属太原郡，吐京、新城二县属吐京郡，后因裁郡改属怀政郡。北周建德年间，西汾州改称石州；大象年间，南朔州改称介州；并增设定胡、窟胡、乌突三县及同名郡。
隋，吕梁分属于离石郡、西河郡、太原郡、楼烦郡、龙泉郡。离石、修化（窟胡县改）、太和（乌突县改）、平夷、定胡（治所在今柳林孟门）、宁乡等县属离石郡，西河郡辖县有隰城、永安二县，受阳县仍属太原郡，岚城县属楼烦郡，石楼县属龙泉郡。
唐代，吕梁分属于石州、汾州、隰州、岚州、并州（后改太原府）。西河（隰城县改）、孝义（永安县改）二县属汾州，离石、平夷、定胡（治所在今柳林孟门）、临泉、方山属石州，宜芳、合河二县属岚州；石楼、温泉二县属隰州，交城（新析置）、文水二县属并州（太原府）。
五代时期，吕梁境域内所属未变。
宋代，吕梁分属于石州、汾州、岚州、隰州、晋宁军、太原府。离石、平夷、方山为石州辖县。西河、孝义为汾州辖县；宜芳、合河为岚州辖县；石楼、温泉为隰州辖县；定胡（治所在今柳林孟门）、临泉为晋宁军辖县；交城、文水二县为太原府辖县。
金代，仅因晋宁军被撤销，辖县改属石州，其它州县的隶属未变。
元代，吕梁大部属于太原路（后改冀宁路）管辖，境内设置有交城县、文水县、兴州、岚州、临州、石州（辖离石县、宁乡县）、汾州（辖县有西河县、孝义县）。石楼为晋宁路辖县。
明初，吕梁除石楼县属隰州外，境内州县均属太原府。县有兴县、岚县、临县、交城、文水，州有石州（辖宁乡县〕、汾州（辖孝义县）。万历二十三年（公元1595年）五月，汾州升为府，并倚郭设汾阳县，原太原府所辖州县、临县、永宁州（隆庆三年后，石州改）及辖县宁乡县和原汾州辖县改属汾州府，府治设汾阳县城。万历四十年（公元1612年）石楼县改属汾州府，清代沿用朝制，建置未变。
中华民国元年（1912年）取消汾州府建置，永宁州废州改县，三年（1914年）1月，永宁县改离石，宁乡县改中阳。
民国七年（1918年），增设方山县。
抗日战争和解放战争期间，吕梁各县均属晋绥边区（先称晋西北）行政公署。
1949年9月，山西省人民政府成立以后，吕梁境内设兴县专区和汾阳专区，兴县专区辖有兴县、临县、离石、方山、岚县等11县，汾阳专区辖县有汾阳、孝义、交城、文水、中阳、石楼等9县。
1951年3月27日汾阳专区撤销，交城、文水、汾阳、孝义等县划归榆次专区，中阳县划归兴县专区；石楼县划归晋南专区。
1952年7月1日，兴县专区撤销，兴县、岚县划归雁北专区；临县、方山、离石、中阳划归榆次专区。
1954年7月1日，离石、方山二县合并为离山县。
1958年11月10日，文水、交城二县并入汾阳县，中阳县与离山县合并为离石县，孝义县并入介休县，岚县分别划入静乐和兴县，石楼县并入吕梁县。
1959年9月19日除孝义县以外其它各县恢复建置，1961年5月恢复孝义县建置。
1971年5月，吕梁地区组建，同时恢复方山县，新增设娄烦、交口二县；1972年4月，娄烦县划归太原市；1971年10月5日，新增设柳林县。
1992年孝义撤县设市，1996年离石、汾阳撤县设市。
2003年10月23日，国务院批准吕梁撤地设市，同时离石由县级市改为市辖区。
2004年7月9日，吕梁撤地设市正式挂牌。
