说起南海神庙的建立，人们自然会问起南海神的名字。南海神叫祝融，也有史书称其为祝赤，是祝融和赤带的简称。其实祝融和赤帝是同一人，祝融本是火神，今天一旦发生火灾，人们仍然认为祝融君光临。那么他又怎样合水火为一神的呢？这有许多传说。
传说一
祝融是中国帝王。他以大施化，号为赤帝。相传，祝融还是一个音乐家，他经常在高山上奏起悠扬动听，感人肺腑的乐曲，使黎民百姓精神振奋，情绪高昂，对生活充满热爱。祝融死后，葬在南岳衡山之阳，后人为了纪念他，就把南岳最高峰称为祝融峰。
传说二
上古帝喾(ku音酷)在位时，有一个叫重黎的人，是倾项的儿子，他的官职是“火正”，即火官。重黎忠于职守，努力为帝喾和广大黎民服务，当火宫有功，帝喾于是赐以“祝融”的封号。“祝”是永远、继续的意思，“融”是光明的象征，就是希望重黎继续用人来照耀大地，永远给人带来光明。祝融死后，葬在南岳衡山舜庙的南峰，即今之祝融峰下。
传说三
黄帝时期，黄帝南巡，分不清方向，于是请“祝融辨乎南方”，也就是应该说，衡阳的南岳，最先是由祝融辨出来的，他因此担任了司徒的职务。后来，祝融被封楚地，成为楚国人的始祖。
今衡阳南岳祝融峰顶还有一座祝融殿，殿后岩石上建有石栏杆，可以凭栏望北山的风光。
这个火神，楚人的始祖祝融又怎样兼任海神的呢?古人认为，南方属火，火又是光明的象征，火之本在水，故祝融合水人为一神，且符合周文王八卦中离“=”属火，方位在南方的卦象。
传说四
尧帝时期，洪水滔天，浸山灭陵，黎民百姓生活于水深火热之中。尧帝下令鲸(人名)去治理洪水，可是九年过去了，毫无成效。后来，鲸知道天上有一种称为“息壤”的宝物，只要用一点投向大地，马上就会生长起来，积成山，堆成堤，于是鲧想办法到天上偷了息壤到人间。用它堵塞洪水，大地终于渐渐看不见洪水踪迹了。但是，上帝知道息壤被窃，就派人神祝融下凡，在羽山地方把鲧杀死，井夺回余下的息壤。上帝还命祝融监视人间治水，命他掌管一方水的大权。由于祝融属南方之神，所以就合水火为一神，兼任南海之神了。
既然祝融兼了南海之神，当然要选择一个供他管理南海的驻地。这个地点最少要有两个条件，一是靠近南海出海口，附近有港口，方便海船的出人祭祖;二是附近有一定的人口，能常有人到庙中顶礼膜拜和供奉管理。位于南海之滨珠江口的扶胥镇(今庙头村)离广州城约80里，在珠江北岸，面临扶胥江(珠江的一段)，东连狮子洋，下接虎门，背靠广州，是古代出人广州的海路交通重地，经此放洋出海，可以抵达南海各国。扶胥镇地理位置十分优越，被称为“去海不过百步，向来风涛万顷，岸临不测之渊”。这里成为建海神庙十分理想之地，于是，人们就在此建立了南海神庙，使祝融有了居所。
但是，祝融身兼大水两职，衡阳南岳祝融峰才是其真正的宫殿，南海神庙则为其离宫。事实上，南海神庙的建立，是与南北朝以来，广州地区相对稳定，经济发展较快，海上交通贸易频繁有密切关系。当时，中国和西域各国的交往，除了西北陆上丝绸之路外，海上交通迅速发展，不少海外商贾、僧人等乘舟从海上来华，中国海舶亦出洋到番国。由于海上风云变幻莫测，祈求海神保护的愿望也与日俱增，隋文帝开皇十四年下诏建南海神庙，可以说是水到渠成，适应了当时民间和官府的需要。