西晉置衡山縣。 據《今縣釋名》：“西北衡山， 是為南嶽， 山如車蓋及衡軛之形， 故名。 ”縣因衡山得名。
衡山有著1700多年的悠久歷史， 以境內有南嶽衡山得名。
衡山縣位於南嶽衡山和附近地區， 為衡陽西南雲大都市區組成部分。 衡山縣地處東經112 ° 27'-112 ° 57'， 北緯26 ° 58'-27 ° 28'， 之間， 東隔湘江與衡東縣交界， 南與石鼓區相接， 西鄰南嶽區， 西南與衡陽縣接壤， 北界湘潭縣， 西北與雙峰縣毗鄰。 2015年12月， 根據衡山縣鄉鎮區劃調整方案，
衡山縣位於南嶽衡山和附近地區， 為衡陽西南雲大都市區組成部分。 地處東經112 °27'-112 °57'， 北緯26 °58'-27 °28'， 之間， 東隔湘江與衡東相望， 南接衡陽市石鼓區， 西鄰衡陽市南嶽區， 西南與衡陽縣接壤， 西北與雙峰縣毗鄰， 北界湘潭縣。 南北縱長54.5公里， 東西橫跨48公里，
縣境地形內高外低， 將祝融峰圍在中間， 地勢向西北、東南逐漸降低， 形成兩個傾斜面。 以山、丘、崗為主， 兼有河溪、平原， 其地貌組合具有帶狀階梯式分佈特點， 衡山縣山地約占11.4%， 丘陵約占42.3%， 崗地約占24.8%， 平原約占21.5%。
境內主要山峰有：巾紫峰、燕子岩、勾頭峰、吐霧峰等。
毛澤建， 1923年加入中國共產黨， 長期在耒陽、衡山等地從事遊擊鬥爭。 1928年在耒陽的一次戰鬥中被捕， 1929年被害于衡山縣城馬王廟坪， 年僅24歲。 毛澤建犧牲後， 當地群眾秘密將其埋藏於面臨湘江， 背倚南嶽七十二峰之一的巾紫峰。