五千年前唐尧禅位虞舜即于大麓。唐、虞之世，大禹治水成功，定九州。（今巨鹿一带）属冀州域。

商周，属邢国，周襄王十七年（前634年）邢亡于卫，巨鹿改属卫国地，后归晋国，春秋末年，三家分晋，辗转属赵。

秦朝，统一六国，（前221年）设郡县治，置钜鹿郡为全国三十六郡之一（治今平乡西），辖境在河北白洋淀、文安洼南岸，平乡，鸡泽以北，邢台县、石家庄以东，南运河以西，山东德州、高唐、馆陶之间地。

前208年，巨鹿县附近发生著名的“钜鹿之战”。霸王项羽大败秦将章邯，摧毁秦军主力，促使秦朝迅速灭亡。

汉代（前204年）高祖刘邦称帝后，于钜鹿郡治东北设置一个南?县，隶属钜鹿郡（三国初省郡为国，属冀州地，辖今相当于晋县、束鹿、宁晋、柏乡、隆尧、巨鹿、平乡等县）。

北魏，（公元389年）道武帝拓跋硅，改南?县为巨鹿县。

元魏太平真群六年（公元445年）将巨鹿并入柏人（今隆尧），孝文帝太和二十年（公元496年）复置，属南赵郡（治隆尧西尧山镇），北齐废南?县。

隋朝，开皇六年（586年）文帝杨坚，复置南?。大业初，炀帝杨广复南?为巨鹿（治今县北夏旧城处），隶属襄国郡（邢州）。

唐朝武德元年，设为起州，上隶邢州总管府，武德四年，复为巨鹿县，属邢州。（天宝元年邢州改钜鹿郡，至德二年复邢州），上属河北道。

北宋，熙宁六年（1073年）平乡并入巨鹿县，元祐元年（1086年）复置平乡，二县仍属邢州，宣和元年（1119年）邢州改为信德府。

金天会七年（（1129年）信德府复为邢州，继辖巨鹿。

元世祖三年（1262年），升邢州为顺德府。至元二年（1265年）改为顺德路，一直辖巨鹿县。

明代，洪武十年（1377年）广宗并入巨鹿，十三年复置，仍属京师顺德府。

清朝，巨鹿仍属直隶省顺德府九县之一。

民国二年（1913年），北洋政府撤消顺德府（今邢台市），九县改隶大名道（冀南道）。

至十七年（1928年），南京政府撤消大名道，各县改隶河北省。

1949年，成立中华人民共和国，巨鹿县隶属邢台专区。

1958年，将任县、平乡并入巨鹿县。

1961年，析置巨鹿、任县、平乡、广宗四县，仍隶邢台专区。

1970年，邢台专区改称邢台地区，继辖巨鹿。

1993年，邢台地区改邢台市，巨鹿为邢台市辖县。