临汾市是中华民族最早发祥地之一。襄汾“丁村人”遗址和其他一些考古发现，证明远在十多万年以前的石器时代，汾河沿岸的土地上就劳动、生息、繁衍着中华民族最早的原始人群和村落。在我国古代文献中，有不少关于原始公社的传说，《帝王世纪》称：“尧都平阳”，即今临汾。尧王访贤、让位于舜的传说就发生在本地。

商朝时

，临汾为商版图上的冀州之地，洪洞、曲沃等地出土的青铜器，其造型和纹饰等都具有显著的殷商文化特征。西周时，周成王封其弟叔虞于唐，即传说中的“桐叶封弟”，唐就是今翼城。叔虞的儿子燮父，因国内有晋水，就把唐改称晋国。春秋时期，临汾属诸侯国晋，晋文公重耳当政时，晋国的中心就在现今曲沃、侯马一带，当时的晋国因有名相赵衰、弧偃（两人俱是平阳人）等辅政，发展了农业和手工业生产，使晋国出现了“政平民阜、采用不匮”的局面，逐渐强大起来。晋文公称霸天下后，临汾对当时的山西乃至全国局势都有一定影响。

秦始皇

统一中国后，建立了中央集权制度，把全国划分为36郡，以后又不断增设到48郡。当时山西境内设有5郡，临汾属河东郡。西汉取代秦后，划全国为103郡国，临汾（今襄汾）、平阳、襄陵、彘（今霍州）、杨（今洪洞）、北屈（今吉县）、蒲子（今隰县）、降（今曲沃）、弧镊（今永和）、骐（今乡宁）均属河东郡司隶部辖。

隋朝

建立以后，结束了中国历史上400年分裂割据，出现大统一局面。隋朝精简了行政区划，改州、郡、县三级为州、县两级。临汾、翼城、洪洞、汾西、永和、蒲县即是隋代命名而沿用至今的。

唐朝

时，临汾市属河东道。由于唐王朝对山西十分重视，诚如太宗李世民所说：“太原王业所基，国之根本。河东殷实，京邑所资。”当时的临汾市农业和手工业空前繁荣。晋州（今临汾市东半部）粟米常通过漕运接济京师长安。“河渭之间，舟辑相继，会于渭南”。临汾市的手工业产品如白蜜、蜡竹、龙须席等，均被列为贡品。平阳的炼矾，岳阳（今古县）、翼城、昌宁（今乡宁）和汾西的采矿炼铁均很有名。临汾城内大云寺（今地区展览馆）砖塔内有唐贞观时铸造的铁佛头像，洪洞广胜寺有唐太宗御制赞石刻，曲沃阎村有初唐四杰之一的王勃撰写的灵光寺碑等，均为罕见的艺术珍宝。

五代十国时期

，在短短半个世纪中，华北和中原前后经历了5个朝代，历史上称为“五代”。由于战乱不已，临汾市人民死伤、逃亡者很多，户口锐减，经济衰落。公元960年，赵匡胤取代后周，建立宋王朝。北宋初年，临汾市的经济得到一定程度的恢复。晋州（后改名为平阳府）是宋代设铁官的“十二治”之一，铸大钱，以一当十，助关中军费，成为当时北方重要的商业贸易城市。太宗淳化元年雕刻的浮山县庆唐观重修功德碑、徽宗政和三年铸造的翼城县十方院的钟与宣和四年铸造的曲沃县内社全巷的钟等，均可看出那时本区书法、雕刻和铸造等技艺的水平。

赵宋王朝

偏安江南后，中国形成宋与金南北对峙的局面。山西全部被女真族所统治，其时临汾市属河东南路，由平阳府的10个县、隰州的4个县、吉州的2个县和降州的3个县共19个县组成。平阳的造纸和印刷业十分发达，平阳麻纸驰名全国，是金朝四大刻书中心之一，金元时把平阳所刻印的书籍叫“平水版”。著名的赵城《大藏经》就是由民间集资雕刻印刷。平阳姬姓雕版作坊所刻的《四美人图》、《关羽图像》绘画精美，形象逼真，开创了人物版画的先声，是中国版画的一大转折。金朝还在平阳设置绫锦院（全国共五处），派官员管理公私营手工丝织业作坊以及征购布匹、绸绢等事，平阳卷子布、隰州绿矾、龙门椒、紫团参、甘草、苍术等颇负盛名。

元朝

时，临汾为河东山西道宣慰司晋宁路。洪洞广胜寺明应五殿的元代戏剧壁画就是这一时期所修建。明清时重设平阳府，统领35个州县，相当于今临汾和运城两地区。明洪武和永乐年间，为恢复中原经济，推行大规模的“移民垦荒”政策，官府在洪洞广济寺设局驻员，从平阳、太原、汾州等地选“丁多田少及无田之家，分其丁以实北平（今北京）”。据说每次移民搬迁前，都在洪洞大槐树下集散，移民临行前频频折槐为记，恋别故土，所以至今在各省人民中仍流传着“若问祖先来何处？山西洪洞大槐树”的史话。明清时代，临汾的商业和工场手工业十分活跃。“山西平阳府富国、丰国二治（均在吉州）岁输铁各二十二万一千斤有奇。”“平阳、泽、潞豪富甲天下，非数十万不称富。”15世纪时，全国出现了33处大工商业都市，平阳就是其中之一。

辛亥革命推翻清朝后

，于1912年对行政区划进行了改革和整顿，1914年又增设道的建制。临汾、洪洞、赵城、襄陵、汾城、曲沃、安泽、浮山、翼城、乡宁、吉县、霍县、汾西、隰县、蒲县、大宁、永和等县属河东道管辖，废道后由省直属。在漫长的岁月里，临汾市人民百折不挠，勤劳勇敢，走过了繁荣、衰败、发展的不同历史阶段，终于在中国共产党的领导下，推翻了帝国主义、封建主义、官僚资本主义三座大山，开创了人民当家作主的历史新纪元。

1946年各县陆续解放，1948年5月17日临汾攻坚战胜利结束，临汾全境解放。

1949年2月成立了晋南区，归陕甘宁边区政府领导，同年9月1日改属山西省。

1950年1月成立临汾专区，1950年5月石楼县划归临汾市。

1954年同运城专区合并为晋南专区（专署驻临汾），同年，洪洞县、赵城县合并为洪赵县。

1956年设侯马市。

1957年撤侯马市归曲沃县。

1958年撤曲沃县设侯马市。

1959年改洪赵县为洪洞县。

1962年撤侯马市归曲沃县。

1970年专区改地区，晋南专区又按原建制划分为临汾、运城两地区，同时恢复侯马市，设立临汾市，并由安泽县、浮山县划出部分地区设立古县。

1971年石楼县划归吕梁地区。

1978年临汾市改名为临汾市行政公署。

1983年撤消临汾县，将其管辖区域并入临汾市。

1989年撤消霍县，设立霍州市（县级市）。

1998年末，全区有临汾市、侯马市、霍州市、曲沃县、翼城县、襄汾县、洪洞县、古县、安泽县、浮山县、吉县、乡宁县、蒲县、大宁县、永和县、隰县和汾西县2市1区14县，20个街道办事处，75个镇，76个乡，2956个村民委员会。

2000年6月23日，经国务院批准：（1）撤销临汾地区和县级临汾市，设立地级临汾市。市人民政府驻新设立的尧都区。（2）临汾市设立尧都区，以原县级临汾市的行政区域为尧都区的行政区域。区人民政府驻鼓楼东大街。（3）临汾市辖原临汾地区的汾西县、吉县、安泽县、大宁县、浮山县、古县、隰壶口瀑布

县、襄汾县、翼城县、永和县、乡宁县、曲沃县、洪洞县、蒲县和新设立的尧都区。原临汾地区的侯马市和霍州市由山西省直辖。