祁门原为歙州黟县和饶州浮梁二县地。唐永泰元年（765），方清起义，据黟县赤山镇设阊门县。永泰二年（766）划黟县赤山镇和浮梁县一部设置祁门县。合县城东北祁山、西南阊门而得名。北宋《太平寰宇记》第104卷，对祈门县进行了描述。祈与祁通假。

建县后属歙州。宋宣和三年（1121），改歙州为徽州，祁门县属徽州。元至元十四年（1277）升徽州为路，祁门县属徽州路。元至正十七年（1357），改徽州路为兴安府，祁门县属兴安府。至正二十四年（1364）改兴安府为徽州府，祁门县属徽州府。

民国元年（1912）废府存县，祁门县直属省辖。

民国3年，祁门县属芜湖道，民国17年废道，祁门县复由省直辖。

民国20年施行首席县长制，徽州首席县长驻歙县，兼管祁门。

民国21年，祁门县属安徽省第十行政督察区。

民国29年8月，祁门县属皖南行署第七行政督察区。

民国34年撤销皖南行署，祁门县属安徽省第七行政督察区。

1949年祁门解放，5月属徽州专区。

1956年1月徽州专区撤销，祁门县改属芜湖专区。

1961年4月重设徽州专区，祁门县复属徽州专区。

1971年3月改专区为地区，祁门县属徽州地区。

1988年元月，徽州地区撤销，新置黄山市，祁门县隶属黄山市。