衡阳市历史悠久，根据出土文物考察，五六千年前，我们的祖先就使用石器等原始工具，在衡阳地区种植水稻，饲养猪牛，定居生活。

先秦：

衡阳地区古属三苗、杨越，战国时为楚国所辖，为楚南重镇。

秦朝：

公元前221年，秦始皇统一全国并将原楚国南部分为黔中、长沙两郡，衡阳地域属于长沙郡。

汉朝：

西汉高祖5年（公元前202）始建酃县（治今珠晖区酃湖乡，中国西汉至隋朝初年酃县指衡阳市珠晖区酃湖，宋代至新中国成立之初酃县指炎陵县），后设立钟武侯国、重安侯国。

三国：

衡阳分属于衡阳郡和湘东郡，出现二郡分立的情况。公元220年，孙吴于长沙郡东南设置湘东郡，郡治设酃县（今珠晖区酃湖乡）；并于长沙郡西部设衡阳郡，下辖蒸阳（今衡阳县）、重安（今衡南县）、湘南、湘西（今衡山、衡东、南岳区）、湘乡、益阳等县。此为历史上首次出现以衡阳命名的郡。

晋南北朝：

西晋置衡州，治衡阳。东晋、南北朝先后设湘东郡、衡阳王国（辖今衡阳市、娄底市、益阳市、湘乡市、宁乡县、韶山市、等地）、湘东王国（今衡阳市、茶陵、炎陵、攸县、双峰、安仁等地），首府设衡阳。

隋朝：

公元589年，隋灭陈并改郡为州，改湘东、衡阳两郡为衡州、临蒸为衡阳县，州、县城均在江东东岸。此为历史上首次出现以衡阳命名的县。

唐朝：

唐天宝年间又将衡州改称衡阳郡，直至唐乾元元年才复用衡州。肃宗至德二年置衡州防御使，领衡、涪、岳、潭、郴、邵、永、道八州。公元764年,唐王朝为了加强对湖南地区的控制,设置湖南观察使。这是历史上最早出现“湖南”之名，湖南观察使驻衡州。

宋朝：为衡州衡阳郡。

元朝：

元朝确定行省制度，省下设路，改置衡州路，在衡州设湖南宣慰司，属湖广行省（治武昌，今武汉）。元贞元年(1295) 衡永郴桂诸路人民抗粮、抗丁，起义频繁，朝廷于衡州设行枢密院。

明朝：

置衡州府，属湖广行省（治武昌，今武汉）。下辖衡阳县（衡阳市区、衡阳县、衡南县）、衡山县（南岳区、衡山县、衡东县）、耒阳县（耒阳市、安仁县）、常宁县（常宁市）、茶陵州（茶陵县、攸县、炎陵县、安仁县）、桂阳州（桂阳县、临武县、蓝山县、嘉禾县），明朝中后期设桂王藩国，都衡阳。

清朝：

清代湖广行省分为左、右布政使司，康熙三年（公元1664年）分为湖南、湖北两省。置衡永郴道，驻衡州府，领衡州府（衡阳县、清泉县、衡山县、耒阳县、常宁县、安仁县、酃县、桂阳州、临武县、蓝山县、嘉禾县）、永州府（零陵县、祁阳县、东安县、道州、宁远县、永明县、江华县、新田县）、郴州（永兴县、宜章县、兴宁县、桂东县），雍正十年(1732)增领桂阳州，更名衡永郴桂道。公元1676年，吴三桂在衡阳称帝，国号周。衡阳称应天府（国都）。

民国：

民国三年（1914年），废府存道，改衡永郴桂道为衡阳道，俞寿璋任道尹。衡阳道（全省三道：衡阳道、湘江道、辰沅道）所辖县仍如清代衡永郴桂道，治所衡阳，直辖湘南34县。1936年，衡阳设立粤汉、湘桂铁路局，管辖湘、桂、粤、鄂四省铁路。1937年，全省分十个行政督察区，第二行政督察区专员公署驻衡阳，辖衡阳、衡山、常宁、耒阳、攸县、安仁、酃县、茶陵。1939年春自湖南省政府沅陵迁至耒阳。省政府设在水东江至竹市一带，秘书厅设于杜陵书院（今耒阳一中校址）。抗战爆发后，随着国民政府政治、经济、文化重心的西移，衡阳的经济和社会迅速发展和演进，不仅是南方交通枢纽，而且成为大后方最重要的物资集散地和工商业中心，人口急剧增加到60万。因此，1941年1月，湖南省政府决定将衡阳县东华、雁峰、西湖、石鼓、江东5镇和城郊的广福、奇罡、酃湖3乡区域设置衡阳市，直属湖南省政府，衡阳县治所仍驻市内。1942年1月1日，国民政府设衡阳市，属省辖，市长朱玖莹。1943年成为国统区内第三大工商业城市，人口近100万。1944年第二次世界大战中国历时最长的战役——衡阳保卫战致使全城被毁，全城仅剩三栋建筑。

新中国：

1949年10月8日衡阳解放，设立衡阳铁路局，为中南铁路总局，管辖中南五省铁路（湖南、湖北、广东、广西、江西）。1949年设衡阳专区，专署驻衡阳市。辖衡阳市及衡阳、衡山、攸县、茶陵、酃县、安仁、耒阳、常宁等8县。1950年衡阳市改由省直辖。1952年撤销衡阳专区，设立湘南行署，行署驻衡阳市。原衡阳专区所属衡阳、衡南、衡山、耒阳、安仁、酃县、常宁等7县和原郴州专区所属郴县、永兴、资兴、桂东、汝城、宜章、临武、蓝山、嘉禾、桂阳等10县，原零陵专区所属零陵、东安（驻白牙市）、祁阳、祁东、新田、宁远、江华、道县、永明等9县划入湘南行署。辖26县。1980年成为省辖市（1980年，湖南省5个省辖市、10地区、1自治州，衡阳有省辖衡阳市和衡阳地区）。1983年7月，原衡阳地区与衡阳市合并，实行市管县新体制。衡阳市辖衡阳、衡南、衡山、常宁、耒阳、祁东七县（耒阳、常宁为县级市），以及江东、城南、城北、郊区、南岳五个县级区。2001年城北、城南、江东、郊区四个区分别改名为石鼓、雁峰、珠晖、蒸湘四个县级区。