夏、商时期，甘谷县属雍州。

秦武公十年（公元前688年），伐冀戎，置冀县为甘谷县之始。

秦始皇二十六年（公元前221年），全国分三十六郡，本地仍为冀县，属陇西郡。

汉初沿秦制，汉武帝元鼎三年（公元前114年），分陇西郡为天水郡，设县十六仍为冀县，属天水郡。

东汉灵帝建宁元年（168年），凉州刺史治冀县，冀为凉州治。

三国晋魏时（220年），凉州移治武威，甘谷仍为冀县，属天水郡。

晋武帝泰始元年（265年），分雍州之陇西五郡，凉州金城郡，梁州阴平凡七郡，置秦州，治冀。

泰始三年（267年），秦州迁置上邽为天水郡，冀属之。

永嘉元年（307年），废冀。

北朝后魏武帝太平真君八年（447年），将冀县改为当亭县，属天水郡。

北朝北周时（557年），改当亭县为冀城县，后又并入黄瓜县。

隋炀帝大业二年（606年），改黄瓜县为冀城县，属天水郡。

唐高祖武德三年（620年），改为伏羌县，属秦州天水郡中督都府。是年以伏羌及渭州之陇西置伏州治永宁县。

武德八年（625年），伏州废，县还故属（秦州）。

武德九年（626年），析治盐泉县，贞观元年（627年）更名夷宾，三年省，并入伏羌。

唐代宗广德元年（763年），被吐蕃所占领。

宋太祖建隆三年（962年），置伏羌寨，宋神宗熙宁三年（1070年），升为伏羌城。

元世祖至元十三年（1276年），又改为伏羌县，明、清两代沿用。

民国十八年（1929年），改伏羌县为甘谷县。

1949年8月5日，甘谷县解放，县委、县政府设于城内东大街。

1958年甘谷县并入武山县，1962年1月分治，恢复了甘谷县。