商至战国为西羌地，秦至汉初为月氏、乌孙国和匈奴地。汉元狩二年(前121)始置玉门县，隶酒泉郡。西凉置会稽
玉门市
郡，北魏置玉门郡，后屡有变更，清乾隆二十四年（1759）复置玉门县。
1949年9月25日，中国人民解放军和平解放玉门油矿，翌日解放玉门县。
1955年12月成立玉门市（省辖市）。
1958年合县、市为地级市，1961年改为县级市，隶属酒泉地区行署。2002年酒泉撤地设市后，玉门由酒泉市代管。
2003年4月4日，民政部批准（民函[2003]63号），同意将玉门市人民政府驻地由解放路（南坪街道）迁至玉门镇。
