秦代以前，县境内已有人类居住，主要为壮族及部分少数民族，历史上被称为“獠人”、“俚人”、“雒越”等，是岭南百越（百粤）各部落的一部分。秦始皇三十三年（前214年）秦朝统一岭南地区。设置桂林郡、南海郡、象郡，凌云属桂林郡。秦末汉初，凌云为南越国统辖，隶属桂林郡。

汉元鼎六年（前111年），凌云属郁林郡管辖。元封五年（前106年），为交州统辖下的郁林郡管辖，属增食县。

三国属吴国，凌云属广州郁林郡地，仍属增食县。

晋朝，凌云属广州郁林郡增食县。东晋大兴元年（318年），郁林群分为晋兴、宁浦两郡。凌云属广州晋兴郡增翊县地。

南北朝，宋、齐时，凌云属广州郡晋兴郡。陈梁时，属南定州晋兴郡地。

隋朝，凌云属扬州郁林郡地。

唐贞观元年（627年），今广东、广西为岭南道。开元二十一年（733年），岭南道分东道（广东）和西道（广西）。岭南西道下辖桂管、邕管、容管经略使。并在边疆少数民族地区置羁糜州县峒，凌云属邕州管羁縻双城州，半属溪峒。

五代，凌云属邕州管辖，后为南汉属地。

宋皇佑五年（1053年），置泗城州，管辖利州、侯唐州、归乐州、龙川州。泗城州隶属广南西路邕州都督府。

元，凌云县属广西行省田州路军民总管府所辖的泗城州，下辖利州、唐兴州。

明，泗城州直地于承宣布政使司。洪武六年（1373年），州治迁至古磡峒（今泗城镇）。泗城州，下辖利州、程县、唐兴州。

清初为泗城直隶州。顺治十五年（1658年），升为泗城府（土府）。十八年改为泗城军民府，隶思恩府。雍正五年（1722年），改土归流复置泗城府，直隶广西省。泗城府治在今凌云县城。泗城府初无州县。雍正八年，泗城府划辖原系直隶州的西隆州及西林县。乾隆五年（1740年），泗城府置凌云县，故泗城府辖凌云、西林2个县及西隆州，辖及今百色市之西林、隆林、田林、凌云及乐业等县地。

民国元年（1912年），根据《广西地方官暂行章程》有关附郭之县省入府的规定，废凌云县省入泗城府。次年，废泗城府复置凌云县，隶属田南道。十六年，凌云县直隶广西省政府。十九年，凌云县属百色民团区。二十三年三月，凌云县改属百色行政督察区。期间，辖地包括今乐业县和天峨县、田林县、百色市部分地区。二十四年，区划调整，凌云县辖地缩小。二十九年四月，凌云县改隶第十行政督察区。三十一年三月，凌云县改隶第五行政督察区。

1949年，广西置15个区，99个县，1个市（桂林市）。区辖县，凌云县隶属百色区。

1950年1月5日，凌云县解放，仍称凌云县。同年2月，广西省人民政府成立。

1952年8月，广西省人民政府决定将凌云县、乐业县合并为凌乐县，县治凌云县泗城（城厢）镇。同年，又划出利周归田林县管辖。

1953年1月后属桂西壮族自治区百色专区，1956年3月后属桂西壮族自治州百色地区，1958年3月属广西壮族自治区百色专区。

1962年3月，经国务院批准，撤销凌乐县，恢复凌云县、乐业县。凌云县治泗城（城厢）镇，辖城厢、下甲、伶站、沙里、逻楼、加尤、玉洪7个公社。

1984年，凌云县实行体制改革，调整乡镇区划为2镇8乡（即：泗城镇、逻楼镇、下甲乡、朝里乡、沙里乡、加尤乡、东和乡、玉洪乡、力洪乡）下设109个村（街）委员会。其中：伶站、朝里、沙里、玉洪、力洪5个乡为瑶族乡。

2000年5月，加尤乡改为加尤镇。2002年5月百色撤地改市，凌云县隶属百色市，2004年7月，凌云县实行乡镇撤并，撤销东和、力洪2个乡，其中东和乡部分村划归逻楼镇，部分划归泗城镇，力洪瑶族乡划入玉洪瑶族乡。至2012年，凌云县辖3镇5乡110个村（社区）委员会。