据《名胜志》：宋置怀远军，取宋理宗赵昀“荆山为城，义在怀远”一语为军名。

夏、商两代，全国分为九州，怀远属徐州地。西周时徐州并入青州，这里分属青、扬二州地。春秋、战国时，东周王朝名存实亡，诸侯各自为政，互相兼并，天下大乱，连年战争，这里归属无定，先后属吴、楚之境。

秦代统一中国，实行郡县制，以淮水为界，淮北为泗水郡，淮南为九江郡。

西汉时，仍以淮水为界，这里设四个侯国，两个县。在淮水南设当涂、曲阳两侯国，属九江郡；在淮水北设平阿、义成两侯国和龙亢、向县两县属沛郡。王莽新朝时，当涂曾改名山聚，曲阳改名延平亭，平阿改名平宁。东汉时，当涂国复改为县，沛郡改为沛国，原设之县未动，仅平阿、义成县改属九江郡。

三国时，地属魏境，龙亢改属汝阴郡，义成、平阿、曲阳三县属淮南郡。当涂、向县撤废。

西晋太康九年（公元288年），龙亢改属谯国，复设当涂，与义成、曲阳、平阿三县，同属淮南郡。东晋南迁，将当涂侨置于江南（即今之当涂县境）。后改置马头郡。

南北朝时，争夺剧烈，先属南朝宋地，郡治未变，新设零县。龙亢并人蕲县。齐时，淮北地区尽失，属北朝魏地，设已吾县，属马头郡。以后南朝梁又占领，除龙亢属下蔡郡，已吾属沛郡，义成属临淮郡外，又设葛山县。其后复被北朝北齐占据，设荆山郡改原当涂为马头县。已吾、义成并为临淮县，曲阳并入定远。

北宋仍因唐旧制。南宋时，淮北一度沦人金国之地，在这里改设荆山镇。金亡后，南宋收复，复设荆山县。宝佑五年（公元1257年）于此设“怀远军”，辖荆山县，地跨淮河两岸。“怀远”名称亦自此开始。德佑二年（公元1276年）2月怀远军投降元军。元朝至元二十八年（公元1291年）正月撤废怀远军，与荆山县合并，改称怀远县，属濠州，隶于安丰路。

辛亥革命后成立民国，在北洋军阀统治时期（1914年～1928年），属安徽省寿县第三行政督察专员公署辖县。

民国二十七年（1938年）属安徽省阜阳第三行政督察专员公署辖县，民国三十七年（1948年）怀远属寿县第十行政专区辖县，直到怀远县解放。

抗日战争时期，怀远县部分沦入敌手。在共产党领导下，建立了宿（县）怀（远）县抗日民主政府。同时国民党怀远县政府逃避到龙亢区的褚韩湖，怀远县城内则有伪怀远县政府盘踞。

解放战争期间，在县境内涡河南北建立怀远、宿怀两县人民民主政权。

1949年1月怀远全境解放，3月怀远县工农民主政府成立。全县共辖城关、胡疃、河溜、包集、双桥五个区，57个乡。

怀远县1949年属宿县专署辖县，1956年属蚌埠专署辖县，1961年恢复宿县专署，仍为属县，1983年7月改属蚌埠市辖县。