殷商时代，县境北部为商封王庶兄微子的封地。

西周，县境大部属于须句国。须句城，在安民山以东济水滨。今小安山东3千米东张庄村，即其故地。

春秋时期，县境西部属晋国范邑，北部属鲁国微乡，东南部属鲁国中都邑。

战国时期，属齐国的范、寿、须句等邑。

秦，属薛郡须昌县、张县和东郡范县。

西汉，分属东郡的范、须昌、寿良三县，东南部属东平国的东平陆县。

东汉，分属兖州东郡范县、东平国的寿张、须昌县。

三国，属兖州东平郡范、须昌、寿张、东平陆四县。

南北朝，属东平郡的须昌、寿昌、平陆、范县。北魏并置东平郡，一属济州，一属兖州。东平都又各置寿张县、范县。兖州东平郡郡治在秦城，所辖寿张县县治在今寿张集。县境分属兖州东平郡的范县、寿张县、须昌县和济州东平郡的寿张县。

北齐时期，兖州东平郡的寿张县并入须昌县。

隋，属济北郡的寿张县、东平郡的须昌县、鲁郡的平陆县。寿张县城仍在今寿张集。

唐，分属郓州须昌、寿张、中都、郸城诸县。武德四年，于寿张置寿州，领寿张、寿良二县。五年废寿州，省寿良入寿张。

五代，隶属沿袭唐朝，后唐时改须昌为须城。

北宋，分属郓州须城、东阿、中都、寿张县。咸平三年郓州城毁，迁至今东平县州城镇。寿张县治所仍在今寿张集。

金，分属山东路东平府须城、汶上、寿张和济州的郓城县。大定七年黄河决口，寿张县迁治竹口镇。大定十九年复治于今寿张集。

元，属东平路须城、寿张、汶上三县和济宁路的郓城县。

明，属兖州府东平州、寿张县、汶上县、东阿县、郓城县。县境东部属东平州，西部属寿张县。郓城县与汶上县以独孤山为界，以西属郓城县，以东属汶上县。

清，分属山东兖州府汶上县、寿张县和泰安府的东平州、东阿县及曹州府的郓城县。

民国2年，废府、州为道、县。县境南部属岱南道郓城、汶上县。西、北部属东临道寿张县，东部属东平县。

民国11年后，废里、社改区、乡。

民国17年，裁撤道制，直隶山东省政府。

民国23年，划鲁西南十四县为“县政建设实验区”。次年1月，在实验区基础上设“行政督察专员公署”。4月23日，又改为“山东实验区长官公署”。

民国25年又改为“行政督察专员公署”。翌年，全省划为12个行政督察区，汶上、东平县属第一专区，郓城县属第九专区，寿张、阳谷县为第六专区。抗日战争开始后，

1938年专署辖区略有调整，郓城、寿张、东平、汶上县属二专署，阳谷、东阿县属六专署。

梁山建县于1949年8月：所辖区域由原寿张、东阿、东平、汶上和郓城等县的边沿地带组成，其前身是中共领导下的昆山县，历史上与邻县有不解之缘。

1940年8月，中共鲁西区党委为巩由军展鲁西抗日根据地，决定在东阿、阳谷、寿张、郓城、汶上、东平六县边区结合部建立昆山实验区。11月，鲁西区党委派民运部部长邵子言赴昆山一带建立实验区工作委员会，邵子言任实验区工委书记。昆山实验区隶属鲁西区党委领导，驻地在张博士集。

1941年1月18日，中共昆山实验区工委改为中共昆山县委。同期，昆山县抗日民主政府成立。昆山县委、县政府分别隶属鲁西区党委和鲁西行政主任公署领导，驻地在张博士集、师集等村。是年7月，昆山县委、县政府改属冀鲁豫区党委和冀鲁豫行政主任公署领导。

1942年5月，昆山县委、县政府改属中共八地委和晋冀鲁豫边区政府二十三专署领导。

1943年1月，昆山县委、县政府改属中共二地委和晋冀鲁豫边区政府十七专署领导。

1944年5月，昆山县委又改属中共八地委。同年8月，晋冀鲁豫边区政府十七专署改称八专署后，昆山县政府属其领导。

1945年8月，昆山县委、县政府分别隶属中共二地委和二专署领导。

1946年1月，成立冀鲁豫七地委、七专署，中共昆山县委、县政府属之。同年3月，撤销七地委、七专署，并入二地委和二专署。11月，重设七地委、七专署。昆山县委、县政府与其隶属关系随之变动。

1949年8月，设立平原省，昆山县委、县政府隶属平原省菏泽地委和专署。

1949年8月25日，中共昆山县委、县政府在商老庄召开县、区干部会议，宣布改建昆山县为梁山县。县委、县政府分别迁至阎庄村和西小吴村。

1950年2月，梁山县委、县政府迁至郑垓村。

1952年春，县委、县政府迁至后集村。是年11月，平原省撤销，梁山县随菏泽专区划归山东省。

1958年10月，撤销菏泽专区，梁山县改属济宁专区。

1959年6月，梁山县复属菏泽专区。

1990年1月，梁山县划归济宁市所辖。