芷江，古属“五溪蛮地”。出土文物证明，远在旧石器时期，潕水沿岸已有原始人类活动。

商周属楚黔中地，秦为黔中郡地。

西汉高祖五年（公元前202年）置无阳县，为芷江建县之始。

东汉废县，并入辰阳县。

晋太康年间（280～289）置潕阳县，隶属武陵郡，晋义熙年间（405～418），县治迁镡城。

北朝梁时（502～557）改为龙檦县，隶南阳郡。陈永定三年（559）改隶沅陵郡。

唐先天二年（712）置潭阳县，属沅州。宋熙宁七年（1074）筑沅州城，改潭阳县为卢阳县，州县同治沅州城。

明洪武九年（1376），废卢阳县入沅州。清乾隆元年（1736）置芷江县

附郭沅州府。

民国元年（1912），裁县存府，次年裁府复县，隶辰沅道。

民国11年，废辰沅道，芷江直隶于省。

民国24年，属芷黔麻晃行政督察区。

民国25年，属湖南省第四行政督察区，次年属省第七行政督察区，民国29年属省第十行政督察区。

1949年10月2日，中国人民解放军第28军112师解放芷江。10月26日，成立芷江县人民政府，先后隶属会专区、芷江专区、黔阳专区、黔阳地区。

1955年5月1日，县人民政府改称县人民委员会。

1968年9月8日，成立县革命委员会，行使县人民政府职权。

1980年12月4日，重新建立县人民政府。

1981年因黔阳地区改称怀化地区，芷江随隶之。

1986年9月22日，国务院批准，撤销芷江县设立芷江侗族自治县，隶属与管辖区域不变。

1998年，怀化撤地设市，芷江侗族自治县隶属怀化市。