据民国11年《新登县志》载，为明崇祯时河南信阳州知州罗一蛟故里。胥口原名叫胥江村，是一渡口，因伍子胥登临而得名。又因葛溪流经村前，故名胥口。在同上《县志》中载，本村属城区、七贤乡胥口庄，村亦名胥口。抗日战争时期，为塔山乡和崤山乡的各一部分。抗战胜利后为石羊乡与崤忠乡的各一部分。

1950年，民主建政时，建置金河、新崤、高坪3个乡，属湘山区。

1955年10月，金河、新崤、湘主合并建置为三合乡。

1958年10月，属新登公社湘主、三合和高坪管理区。

1961年7月，与三合、高坪合并建制为胥口公社，因公社驻地在胥口村而得名。

1984年，撤销公社建置，复称胥口乡。

1987年，高坪从胥口析出，建立高坪乡。

1992年，撤扩并时，撤销胥口乡、高坪乡，合并建置胥口镇。