衡山主要山峰有回雁峰、祝融峰、紫盖峰、岳麓山等，最高峰祝融峰海拔1300.2米。衡山主体部分介于北纬27°4′-27°20′，东经112°34′-112°44′之间，呈东北—西南走向，北起衡山县福田铺乡，南迄衡阳县樟木乡，西起衡阳县界牌镇，东止衡阳市南岳区，长38千米，最宽处17千米，总面积640平方千米。
祝融峰
祝融峰是衡山的最高峰，是我国纪念人文祖先祝融氏的山峰。“祝融峰之高”为南岳风光“四绝”之首。由于常年烟云的烘托和群峰的叠衬，加之它矗立于地势相对低洼的湘南盆地之中，更显得它峻极天穹。在古语中“祝”是持久永远之意，“融”是光明之意，“祝融”是永远光明。唐代大文豪韩愈在《游祝融峰》诗中赞叹道“万丈祝融拔地起，欲见不见轻烟里”。北宋黄庭坚写道：“万丈祝融插紫霄，路当穷处架仙桥。上观碧落星辰近，下视红尘世界遥。”此处为揽群峰，看日出，观云海，赏雪景的最佳去处。
登上“天阶”可直达祝融峰顶祝融殿，祝融殿是为纪念祝融火神的功德而建。隋以前即有建筑，最早为司天霍王庙，后庙迁到山下，（即南岳庙前身），又更名天尺庵，明代为开云祠，至清乾隆年间才改名为祝融殿。整个殿宇分为两进，全部是用花岗岩石建成，殿顶上盖着70厘米长，30厘米宽，重15千克的加锡铁瓦，在这些铁瓦中，还保存有数十块宋朝铸造历经千年光洁而不锈的铁瓦。
天柱峰
天柱峰为衡山七十二峰之一，海拔1061米，位于南岳镇延寿村境内。从山下仰望群峰，有高峰扑入眼帘，其上又有两个峰顶，如双柱插天。因奇峰挺拔，形似一柱，有撑天立地之感，故名天柱峰。《九域志》载:“名山三百六十有八柱，此为第六柱也。”峰顶圆形小平台上筑八角垂檐亭阁，高4米，二层四门，花岗岩砌成，为观火警的瞭望塔。塔下石壁上阴刻楷书“南天柱石”四字。
回雁峰
回雁峰居800里衡山72峰之首，故称南岳第一峰。海拔96.8米，总面积6.32公顷，座落于衡阳市雁峰区湘江之滨，为市级重点文物保护单位、国家AAA级旅游景区。峰名传说有二，一曰：北雁南来，至此越冬，待来年春暖而归；二曰：山形似一只鸿雁伸颈昂头，舒足展翅欲腾空飞翔；古城衡阳也因此峰冠以“雁城”之雅称。
南岳第一峰含义有二，其一就地理位置来讲，它是南岳72峰从南到北的首峰，与祝融、天柱、岳麓诸峰同负盛名；其二南岳“香文化”历史悠久，历来有南岳进香自第一峰开始之说。千年古刹雁峰寺座落于回雁峰上，迄今已有1500年的历史，历代高僧曾在此传经布道，传说“寿佛”曾留一件袈裟在雁峰寺，寺内设有“寿佛殿”，是南岳称为“寿岳”的重要佐证。
石廪峰
石廪峰，俗称雷钵底，或叫大岭。其东侧的石壁上，有两个斜突的峰尖，从下面望去，像高耸云天的大米仓。于是，围绕这个特征的传说就产生了。有的说，这两个石峰不但长得像米仓，而且还有两扇门，门边立着石像，关着的一扇清清楚楚地挂着锁。每到暴风雷雨之夜，山下人会听到关门闭户的声音。这两扇门，平常一扇打开，一扇闭合。每当仓门全部关闭，就预示着大地的丰收；而当全部打开，就会带来饥荒。
有的说，石仓里有的不只是粮食，而且还有蜜。古籍记载，峰上名胜古迹很多，如玉清观、陈真人炼丹台、鬼栽石、雷泓、风穴、诵经坛、浴丹泉等。现在还存留着的，只有雷公井（雷泓）了。《舆地纪胜》卷55衡州：石廪峰“在南岳，其峰耸峙如仓廪”。《清一统志·衡阳府一》：石廪峰“形如仓廪，有二户，一开一阖”。
紫盖峰
紫盖峰为衡山七十二峰之一。《太平御览》卷39引盛弘之《荆州记》曰：“衡山有三峰，其一名紫盖，每见有双白鹤徊翔其上。”《舆地纪胜》卷55衡州：紫盖峰“在南岳。有紫霞笼罩之状，其形如盖”。南岳诸峰皆朝于祝融，如拱揖之状，独紫盖一峰，面南挺立。杜甫《望岳》诗：“祝融五峯尊，峯峯次低昴。紫盖独不朝，争长嶫相望。”
岳麓山
岳麓山是南岳72峰之尾峰，海拔300.8米，融中国古文化精华的儒、佛、道为一体，包容了历史上思想巨子、高僧老道、骚人墨客共同开拓的岳麓山文化内涵。山下有被列入中国古代四大书院之首的岳麓书院。山腰有被称为“汉魏最初名胜，湖湘第一道场”的古麓山寺。古麓山寺距今已有1700多年的历史，是湖南省佛教的发源地和中心。