因境内有“夹岸种桃，桃花泛江而流”的桃花江而名。

桃江在春秋战国前属荆州地域，置县前属益阳县。《广舆记》、《大明一统志》、同治《益阳县志》均载：“益阳置县始自秦。”至明太祖洪武十四年（1381），益阳县辖26里，其中11个里属今桃江全境。

清袭明制，顺治十一年（1654），益阳县辖26里裁为23里，桃江全境仍是11个里。

民国元年（1912），益阳县划分7个镇，其中鲊埠镇、桃江镇及大桥镇部分，为今桃江县境之地域。

民国二十七年（1938），益阳县辖27乡两镇，其中桃谷、舒凤、桃江、金沙、桃源、子良、大桥、三山、瑞龙、栗埠、马埠、鲊埠、武潭13个乡为今桃江县境。

民国三十五年（1946）秋，益阳县扩乡并保，设14个乡，其中桃林乡（原桃谷、桃江）、舞凤乡（原舒凤、三山、瑞龙）、碧螺乡（原武潭、鲊埠）、九岗乡（原马埠、栗埠）、桃源乡（原子良、桃源）、志源乡（原金沙、大桥）6个乡为今桃江县境。

1949年8月3日益阳县解放，设8个行政区，暂保留原有保甲区划，其中六、七、八行政区为今桃江县境。

1950年7月，划乡建政、废保改乡、乡下设村，益阳县共设11个行政区，其中六、七、八、

九、十一共5个区，辖107个乡镇为今桃江县境。

1951年7月，湖南省人民政府析益阳县六、七、八、九、十一区，置桃江县，并筹备成立桃江县人民政府，属益阳专区管辖。

1951年9月14日，正式宣告桃江县人民政府开始办公。

1952年2月16日，中央政务院下达命令，正式批准桃江县人民政府成立。

1952年3月27日，桃江县正式载入中华人民共和国政区版图。

1952年11月，益阳专区撤销，桃江县划归常德专区管辖。

1962年12月，恢复益阳专区建置，桃江县属益阳专区管辖。

1994年3月7日，益阳地区撤地建市，桃江县属益阳市管辖至今。