我们先从五岳说起，中国现今的五岳一般指东岳泰山、南岳衡山、西岳华山、北岳恒山、中山嵩山。其中五岳说法刚形成之时并不完全指这五座山。五岳的得名，据说最早可追溯到尧舜的时代，尧命羲和氏四子分管四岳。那时“四岳”是主管方岳的官吏职称，天子巡狩时，各主管方岳的官吏在驻地选择一座高山，放火发出信号，以召集诸侯。于是，最早的几座发信号的山便成了岳官的首府。
舜时，岳官的职称开始与这些名山的山名统一起来。至今作为一种制度，则始于汉武帝之时，到了汉宣帝，才确定五岳为：东岳——山东泰山，西岳——陕西华山，中岳——河南嵩山，南岳——安徽天柱山，北岳——河北大茂山。后来，隋代改南岳为湖南衡山，明代改北岳为山西恒山，最后始成今日之五岳。
五岳被定为这几大名山其实也是汉代的疆域限制的问题，并不像如今的中国如此广阔。另外由于历史的局限性，对名山大川考察得并不细致，例如衡山发现后，天柱山被除名。皇帝们不便前往一些偏远的大山封禅，因此，就近选了几个大山做了五岳。
而古代的黄山，只不过是一座不为人知的雄山，发现的比五岳要晚，地理位置异常偏僻，交通不便，同时黄山过于险峻，无法用于军事进攻，所以并没有被开掘出来。黄山到大唐盛世才有游人的足迹，也就是说黄山比五岳出名晚了近1000年，五岳中自然就没有黄山了。
虽然五岳中没有黄山，但是黄山群峰林立，素有“三十六大峰，三十六小峰”的七十二峰，因此明朝旅行家徐霞客登临黄山时赞叹：“薄海内外之名山，无如徽之黄山。登黄山，天下无山，观止矣！”后人引申为“五岳归来不看山，黄山归来不看岳”的说法，也就是说五岳包涵了天下山河的特性，看过五岳就相当于看过天下所有的山。而黄山则兼具五岳的特性，一座山就包涵了天下的山，由此来说明黄山的美丽和独特，这使得黄山得到了虽不在五岳之内，但更居五岳之上的态势。