夏商周时期，清水为邽戎、绵诸戎居住地。西周孝王时，嬴姓部落首领非子因养马有功，封为王室附庸（周制，其封地方圆不足50里），封邑在今清水县秦亭镇境内，是清水境内最早的城邑。之后，非子等以此为根据地，不断开拓疆土，发展壮大。

周庄王九年（公元前688年），秦武公伐邽戎取其地，始置邽县，为中国历史上最早设置的县。现在中国的史学界对县制起源问题有争论，周振鹤教授认为这是对史料的误读。

秦惠公五年（公元前395年），秦灭绵诸戎，置绵诸道（治今县西南贾川乡林河村），并筑城以加强管理。

秦统一六国后，实行郡县制，清水县地属陇西郡上邽县（原邽县）、绵诸道。西汉初，随着经济人口的发展，为巩固边防、扩充疆土，汉武帝元鼎二年（公元前115年）析上邽，在关陇要冲置清水县、戎邑道（治今黄门乡）与陇县，至此，始有清水县名，县治在古城（今永清镇李崖村）。《太平御览》引述“《三秦记》云：‘其坂九回，七日得越，上有清泉，四注而下。’下有县，因此而名。”元鼎三年（公元前114年），分陇西郡置天水郡，辖16县（道），其中清水县、绵诸道均属凉州刺史部天水郡。西汉末年，王莽改清水为识睦。王莽始建国二年（公元10年），公孙述于县治以西15里依山筑清水西城（址今红堡镇西城村）。东汉明帝永平十七年（公元74年），改清水县为?坻聚，与绵诸道、戎邑道一起并入陇县。

三国初，魏复置清水县，废陇县入清水县。魏文帝黄初二年（221年），从天水郡分置广魏郡，辖4县，清水县属之。西晋时，清水属秦州略阳郡管辖。东晋十六国时，前赵、后赵、前秦、后秦、西秦、大夏、仇池等少数民族政权，先后把势力伸入清水境内。这些割据势力你争我夺，相互兼并，征战不已，给清水的社会生产造成很大破坏。晋安帝义熙六年（410年），夏王赫连勃勃攻陷清水城，将清水及略阳16000余户居民迁于大城(即夏都统万城，在今陕西省靖边县北)。北魏统一北方后，清水县仍属秦州略阳郡所辖。北魏太武帝太平真君八年（447年），在原戎邑道故地置安戎县，属略阳郡。北魏文成帝和平五年（464年），分略阳郡清水、伯阳（治今北道区伯阳乡）2县置清水郡驻清水，属秦州。西魏、北周继之。北周，废安戎县。

隋文帝开皇三年（583年），废清水郡，改伯阳县为秦岭县，与清水县均属天水郡。唐高祖武德四年（621年），在清水置邽州，辖清水、秦岭两县，历3年废入秦州。“安史之乱”后，吐蕃乘虚而入。唐肃宗宝应元年（762年），吐蕃突破唐临洮防线，取秦、成、渭等州，清水亦被占据，古城废弃。唐德宗建中四年（783年）正月，陇右节度使张镒与吐蕃大相尚结赞盟于清水，暂息兵戈。不久，吐蕃背盟，复据清水。唐宣宗大中二年（848年），凤翔节度使崔珙破吐蕃收复清水，隶风翔府。因老城久废，移县治于牛头河南人口稠密处（即今城址）。大中三年（849年），复属秦州天水郡中都督府。五代时清水虽自前蜀经后唐至周，名为陇右道秦州府所辖，实自后唐明宗长兴三年（932年）复为吐蕃占据，县治迁至上邽城（今天水市秦城区）。

北宋太祖建隆二年（961年），秦州入宋，清水县属陕西路。宋仁宗庆历元年（1041年）改称秦凤路为秦州。此时，清水境内吐蕃已为汉族同化，但秦州羌（即吐蕃“生户”）仍频繁寇掠清水。为此，北宋王朝在清水相继置直属秦州的?穰、冶坊、静戎等寨堡以及太平监，屯兵防守。宋太宗太平兴国初年，县治从上邽城迁回。宋真宗大中祥符九年（1016年），秦州都部署曹玮出奇兵破吐蕃李遵立部于三都谷，基本结束了吐蕃对秦州及清水一带的扰掠。此后，曹玮督军民在境内大修堡寨，并筑清水城（即今城址），以拱卫秦州。这些城堡在后来抵御西夏的人侵中发挥了重要的作用。宋神宗熙宁二年（1069年），清水县隶秦风路凤翔府秦州，领弓门、冶坊、?穰、宁远等29堡。宋徽宗崇宁年间（1102年一1110年），清水县、太平监和弓门、静戎两寨以及?穰、冶坊2堡均属秦州。南宋高宗建炎三年（1129年），金将兀术越陇山西进，破清水城，继而攻陷秦州。此后，宋将吴玠曾一度收复秦州，但金仍据清水。建炎四年（1130年）。金升冶坊堡为县（治今黄门乡王店村），与清水县均属凤翔路西宁州。金宣宗贞三年（1215年），清水、冶坊两县以及?穰、静戎2镇均隶属凤翔府秦州。金哀宗正大四年（1127年），元太祖铁木真（成吉思汗）率部越六盘山到达清水县西江畔（今牛头河），病逝于萨里川（今红堡川）行宫内。

元代清水县归陕西行中书省巩昌总帅府秦州。元世祖至元七年（1270年），废冶坊县入清水县。明太祖洪武二年（1939年），徐达率兵度陇，元清水县令铁木罕巴在马跑泉被明军捕杀。洪武四年（1371年），知县刘德以宋城址重筑清水城。洪武九年（1376年），改行中书省为承宣布政使司（简称布政司），清水县属陕西布政司巩昌府秦州。明朝末年，阶级矛盾激化，陕北、陇东饥民相继揭竿而起，反抗明朝的统治，先后有数路农民军蜂拥而入清水，给地方统治者以沉重的打击。明思宗崇祯十六年（1643年），清水县归闯王义军。清世祖顺治二年（1645年），清军征秦陇，大顺知县丁图昌附清。清圣祖康熙三年（1664年），清水县属陕西省右布政使司巩昌府秦州。康熙七年（1668年），改属甘肃布政使司。清世宗雍正七年（1729年），升秦州为直隶州，清水属之。

民国初年，废秦州设置渭川道，清水为其所辖。

民国十六年（1927年），改渭川道为渭川行政公署，清水属之。

民国三十八年（1949年）7月31日，清水解放。8月7日，清水县人民政府成立，属陕甘宁边区政府天水分区。

民国初属甘肃省第四行政督察专员公署。

1949年7月31日解放，8月7日成立清水县人民政府。中华人民共和国成立后，清水县属甘肃省天水分区行政督察专员公署。此后，与天水县（今天水市麦积区）、秦安县多次调整边界。于1961年12月第二次与张家川回族自治县分置后，县境北界、南界均向南推移，西界西移，辖域由民国时的菊叶形变为东西长方形，县治居县境中心。

1985年7月，天水撤地设市，实行市管县体制，清水县归天水市管辖至今。