光山历史悠久。周为弦子封国，故称“弦”；春秋为弦国地，战国属楚；秦代辖于九江郡；西汉置西阳县；南朝宋元嘉二十五年（448）置光城县，同年并置乐安县；宋孝武帝大明元年（457年）分弋阳郡立光城郡；（464年）除光城郡为县，仍隶弋阳郡；；梁武帝太清元年（547年）在原光城郡置光州，治光城县（今河南省光山县）辖区范围大致在今豫南南五县；隋开皇三年（583）光城县并入乐安县。隋开皇十八年（598年）置光山县。唐宋以后复置光州，但治所移至弋阳（今潢川），而光山为光州辖县（今人不知，光州因光城为郡、县而得名，是以常有争执）。此后一直是江淮河汉的军事、政治、经济和文化重地，有文字可考的历史三千余年。因有浮光山，“每有光耀”故名。

中华民国二年(1913年)属河南省属豫南道（1914年改豫南道为汝阳道）；1928年5月河南省境划为14个行政区，属第十三行政区（潢川）辖区；1932年8月属于河南省第九区（潢川）辖区。

中华人民共和国成立后，属于河南省潢川专区辖区；1952年10月，信、潢两专署合并，属信阳专区；1970年属信阳地区；1998年6月9日开始，属信阳市管辖。

先秦时代，光山正处于中原文化与楚文化的交汇的前沿；五胡乱华时期，豫南为南、北朝纷争之地；金人南下，宋人南渡后，又常为两国交兵中线战场；民国时期我党在大别山建立革命根据地，光山南部新集为鄂豫皖苏区首府。自古及今，光山地方都是穷则思变加民风彪悍。