相山区境内有相山而得名。“相土烈烈，海外有截”，4000多年前，商汤十一世祖相土建城相山脚下，此后历代王朝在此设郡置县。

春秋时期政治家蹇叔、汉代哲学家桓谭、三国时期“竹林七贤”嵇康等，皆生于斯或长于此。

2000年，相山区辖7个街道、2个镇。

2004年，相山区1个镇改设为街道办事处，同时将濉溪县的3个自然村划归相山区。同年，将濉溪县濉溪镇的庆相桥、虎山北路居委会划入相山区三堤口街道办事处。2004年底，相山区辖7个街道（任圩、三堤口、东山、相山东、相南、相山西、刘桥）、1个镇（渠沟）。23个村53个社区，总面积100平方千米，人口33万人。

2006年3月，将濉溪县钟楼乡整建制划入相山区渠沟镇。