濂溪区地域历史渊源久远。新石器晚期，已有先民繁衍生息。

夏、商、周为荆州和扬州域。春秋为吴之境西、楚之境东，俗称“吴头楚尾”。战国初属吴，继属越，后属南楚。秦始皇二十六年（前221），分全国三十六郡，隶九江郡。

汉高祖元年（前206），隶九江国九江郡。四年，改九江郡为淮南国。六年，置淮南国豫章郡柴桑县，地属柴桑县。始建国元年（9），新莽改制，以豫章为九江郡，柴桑为九江亭，隶九江郡九江亭。迄东汉复旧称。

三国魏黄初二年（221），东吴孙权置武昌郡，柴桑为之属。

晋惠帝元康元年（291），割扬州之豫章、鄱阳、庐陵、临川、南康、建安、晋安7郡，荆州之武昌、桂阳、安成3郡而置江州，隶江州武昌郡柴桑县。晋永兴元年（304），分庐江之寻阳、武昌之柴桑2县合立寻阳郡，隶江州寻阳郡柴桑县。晋义熙八年（412），省寻阳县入柴桑县。

南朝梁太清二年（548），分柴桑县置汝南县，同属江州寻阳郡。

隋开皇九年（589），废寻阳郡及柴桑、汝南县，复立寻阳县，隶江州寻阳县。十八年，易名彭蠡县，直隶江州。大业三年（607），废江州改置九江郡，彭蠡县易名湓城县，隶九江郡湓城县。

唐武德四年（621），废郡复州，分湓城复置浔阳县，隶江州浔阳县。八年，湓城县并入浔阳县。天宝元年（742），改江州为浔阳郡，隶浔阳郡浔阳县。乾元 （758），复改郡为州。

五代南唐升元三年（939），浔阳县易名德化县。

宋太平兴国三年（978），分德化县立星子县。地属德化、星子二县。

元至正二十一年（1361），朱元璋据江州，改称九江府，德化县属之；南康路改为西宁府，星子县属之。境分隶九江府德化县，西宁府星子县。

明洪武九年（1376），西宁府改称南康府。

民国3年（1914），国民政府内务部改定重复县名。因避福建、四川辖县之名同，改德化县为九江县。是年，地方行政分省、道、县三级建置，隶江西省浔阳道九江县、星子县。

民国15年废道。

新中国建立后，分九江县浔阳镇置九江市（地辖市）、庐山置庐山管理局，地先属九江县、星子县，后属地辖九江市、庐山管理局。

1980年3月，原地辖九江市升格为省辖市。5月，市内置浔阳区，市郊置郊区，庐山置庐山区。时属地辖九江市的工农兵、前进、新港、大桥、周岭、水产6各公社和时属庐山管理局的红旗、向阳、登庐、东风、高垅5各公社划归郊区管辖。

1983年7月，撤地并市，实行市管县体制。

1984年5月，为理顺庐山管理体制，撤销庐山区，另置庐山风景名胜区管理局。8月，郊区更名为庐山区。

2016年4月8日，江西省九江市撤销星子县，以原星子县全域加原庐山区牯岭镇设立庐山市，原庐山区更名为濂溪区。