南雄地域，春秋为百越地，战国属楚，秦属南海郡，两汉为南野县，属豫章郡。东汉顺帝建康时属桂阳郡之曲江县。

三国孙吴时南野县属庐陵郡，吴景帝永安六年（263年）分南北置始兴县，南雄地属之。吴末帝甘露元年（265年）分始兴置斜阶县，南雄地属之，隶于始兴郡。

晋废斜阶复南野，改属庐陵郡。南朝宋因之，齐复置令阶县，梁复置安远县，均辖南雄地。陈改安远县为安远郡，隶属东衡州，即韶州。

隋废诸郡，改安远为大庾县，隶于广州总管府。旋废大庾入始兴。

大业三年（607年）属南海郡，唐武德四年（621年）属番州，不久更名为东衡州。

贞观元年（627年）改为韶州。光宅元年（684年）划始兴县的化南、横山两乡置浈昌县，因境内浈、

昌二水而取名。县治设在今雄州。

南汉乾亨四年（920年）在浈昌县置雄州，辖浈昌、始兴两县。

宋开宝四年（971年）改雄州为南雄州，与河北雄州别，属广南东路。

天圣元年（1023年）因避仁宗赵祯讳，改浈昌为保昌。

宣和二年（1120年）赐保昌为郡。

元至元十五年（1278年）改南雄州为南雄路，领保昌、始兴两县。

明洪武元年（1368年）改路为府，辖保昌、始兴两县，属广东道。

洪武二年改行中书省，九年改行省为承宣布政使司，南雄府属相随。

清嘉庆十二年（1807年）改府为直隶南雄州，直隶广东布政使司，裁去保昌县，领始兴一县。嘉庆十六年复升为府，次年又降为直隶州，直至

。

民国开始，改南雄州为南雄县，隶属广东省。

中华人民共和国建立后，沿袭不变。

1958年12月，南雄县与始兴县合并称南雄县。

1960年10月复分为南雄县、始兴县，隶属广东省韶关专员公署。

1982年6月实行市管县体制后，隶属韶关市。

1996年6月17日，民政部批复（民行批[1996]46号）撤销南雄县，设立南雄市，由韶关市代管。