怀集县，秦前，肇庆属百越地。秦始皇三十三年(公元前214年)，秦平定百越，建南海郡、桂林郡及象郡。今肇庆部分地域属桂林郡、南海郡。秦置四会县，辖区包括现在的四会、广宁、怀集等市县的全部或部分，隶南海郡

，三国·吴黄武五年(公元226年)，建置沿东汉，大部分属广州，少部分属交州。时北部(现怀集县一带)属荆州临贺郡。东晋永和七年(公元351年)，置16县，分隶4郡，统属广州。四会县、怀化县隶南海郡；广信县、高要县隶苍梧郡；元溪、端溪、封兴、都城、晋化、龙乡、夫阮7县隶晋康郡；临允、新兴、南兴、单牒、平兴5县隶新宁郡

，统属广州。南北朝时期(公元420～479年)，分属广州、湘州。公元479～502年增设龙乡、罗平、永熙、宾化、宁乡、长化、定昌、宝宁、齐安、初宁、永城11县及广熙、齐安、齐建、临贺4郡，分属广州、湘州。公元502～589年设54县，分属广州、成州、建州、新州、泷州；梁天监六年(公元507年)九月，升高要县为高要郡，并置广州都督府于高要郡。 南朝刘宋元嘉十三年（436年），划南海郡四会县银屯乡设立，属同时所置的绥建郡，地望为今县中部和东部。刘宋年间（424～453年）分封阳县立永固县，地望为今县南、西南部。南齐年间（479～502年）分封阳县立洊安县，属临贺郡，地望为今县西部和北部。隋朝开皇九年至大业十三年（589～617年）怀集县属南海郡。唐朝武德四年（621年），置齐州、威州分别设治于洊安县、怀集县。唐朝贞观元年（627年），怀集县、洊安县属南绥州。唐朝开元二年（714年）并永固县入怀集县。唐开元二十九年(公元741年)，四会、怀集、化蒙、洊安4县隶广州

；唐朝至德二年（757年）改洊安县为洊水县。五代（907～960年）怀集县、洊水县属南汉兴王府（即广州）。宋朝开宝五年（972年）并洊水县入怀集县，自此形成今怀集县的基本境域。北宋政和元年(公元年)，怀集县隶广州。

元朝至元十五年（1278年），怀集县改隶湖广中书行省贺州。明朝洪武九年（1376年）改隶广西梧州府，光绪三十四年（公元1908年）怀集县由梧州府改隶平乐府信都厅。 民国元年（1912年）改隶广西梧州府。

民国二十三年（1934年）隶属广西平乐督察专员公署。

1949年11月24日怀集解放，仍隶广西省平乐行政专员公署。

1951年5月托广东省西江专员公署代管。

1952年3月划归广东省，属西江专员公署；同年12月属粤中区行政专员公署。

1956年2月属高要专员公署。

1958年11月，怀集县与开建县合并称怀建县，1959年1月复称怀集县，属江门专员公署。

1961年4月分出开建县，仍称怀集县，隶属肇庆专员公署。

1968年3月属肇庆地区革命委员会。

1979年3月属肇庆地区行政公署。

1988年1月～2000年，属肇庆市管辖。县人民政府驻地怀城镇。