右玉县古称善无县，春秋之前一直为北方少数民族所占领。

秦置善无县，属雁门郡治。

西汉沿用秦制，东汉雁门郡南徙后，为定襄郡治。

北魏复设置善无县，后废。

唐以后为云中县址。

明洪武25年（1392年）置定边卫，永乐七年（公元1409年）将边外玉林卫并入右卫，改称右玉林卫，属大同府。

清初名右玉卫。雍正三年（1725年）升为县称右玉县，归朔平府，府治设右玉。

民国元年（公元1912年）废府留县，归雁北道。

建国初属察哈尔省，仍属雁北区。

1958年，与左云县合并称左云县。

1961年复县。

1972年，县址由旧城迁梁家油坊。