小纪镇古名小溪，后为纪念纪姓艄公慈航义渡而更名小纪，其历史始于唐朝，距今已有一千四百余年。

1912年，泰州改称泰县，建小纪市。

1926年，建泰县小纪区，后为泰县第十区区公所在地。

1941年7月，中国共产党领导下的抗日民主政府将泰县第十区临时划江都县领导。

1947年底，江都县委机关进入小纪地区。

1958年9月，建立小纪人民公社，1983年9月，恢复小纪镇人民政府建制至今。