國定古蹟赤崁樓，在多數官方網址上皆指出，「原為荷蘭人所建」。然根據文獻資料顯示，今之赤崁樓是清末興建在荷蘭人紅毛樓基址上的海神廟，現在稱赤崁樓，是名實混淆、張冠李戴。
遠流出版近期推出的《解碼臺灣史1550-1720》中，作者中研院台史所副研究員翁佳音與文字工作者黃驗進行了史料考證，指出荷蘭人於1625年在赤崁建立市鎮（Stad Provintie，又譯普羅民遮），將商館及住宅區遷過來，同時拓展農業。爾後更發展成為第一個農墾區，也是重要的行政區。
不過作者表示，當時首任臺灣長官宋克將赤崁命名Provintie，此字與英語Province（省）相同，意指臺灣城堡、市街以外的行政省分。所以正確來說，這個行省應稱為「赤崁省」。1652年郭懷一事件後，荷蘭人在赤崁興建城堡（應稱為赤崁樓或赤崁城），以增強防禦。不過，在《熱蘭遮城日誌》1654年7月記載：巴城當局對新建城堡頗多意見，包括：造價太高、稜堡上安置兩門低射的大砲不妥、「接合處造到那麼高，可能會垮」、省長官邸下面「那麼多的大拱門，（城堡）遲早會因地震而倒塌」。
赤崁新城堡落成，作為赤崁省的行政中心、省長辦公廳舍，以及防衛保壘；1661年鄭成功來襲，以重兵包圍赤崁樓，斷水斷糧，時任省長猫難實叮自知不敵，舉城投降。鄭、清時期都將赤崁樓移作火藥及軍械庫，又稱紅毛樓、番仔樓。
番仔樓淪為蝙蝠洞
1721年朱一貴起事，攻佔赤崁樓，將城堡的鐵鑄門額拆下來打造兵器。後來，「頻年地震，屋宇傾盡，四壁陡立，惟周垣堅好如故」，地震倒塌，應驗了當年巴城當局的預警。荷蘭人派駐在臺的建築設計師學藝不精，魍港的防禦工事屢建屢塌；興建烏特勒支堡時，交叉拱穹突然垮下，因此重建；赤崁樓重蹈覆轍，半個多世紀後也垮了。
1750年臺灣知縣派人嚴加管理，歲時灑掃，「俾邑人士覽勝焉」。紅毛樓後來「樓半傾壞，房室幽奧，久封塵土，人蹤罕到」。1865年打狗海關稅務司麥士威爾（William F. Maxwell），描述紅毛樓的城堡像囚禁罪犯的地牢，堆滿廢棄物，室內有一股海鳥糞石般的惡臭味，牆壁四周有無數蝙蝠嘈嘈雜雜；從二樓可俯瞰整個城市，牆面幾已損壞，但邊牆和隔間牆尚存，堅實的磚牆上設有射擊孔，四個角落還有角樓；最上層則長出二、三棵大榕樹。清末美國駐廈門領事李仙得（Charles W. Le Gendre）也來參觀過，他聽說這裡鬧鬼，除了外國人或遊客偶來探訪，無人敢入；日本時代，因傳說紅毛樓底下有地道通往熱蘭遮城，實地進行探勘，但無所獲。
海神廟掛名「赤崁樓」
1884年清法戰爭期間，法國人說，臺南有一座他們遺留的城堡。劉銘傳命臺灣知縣沈受謙拆毀紅毛樓基地上的荷蘭建築，以杜絕法國侵臺藉口。至此，赤崁樓成為歷史。戰後，遷建引心書院至赤崁樓的基址上，改稱「蓬壺書院」，另建文昌閣、海神廟、五子祠、大士殿，形成中式建築群。今僅存文昌閣、海神廟、蓬壺書院門廳。海神廟的正廳門楣，懸掛「赤崁樓」牌匾。正確來說，今之赤崁樓是清末興建在荷蘭人紅毛樓基址上的海神廟，這是名實混淆、張冠李戴。海神廟正廳展示紅毛樓復原模型，並有一幅1930年代小早川篤四郎繪製的〈赤崁夕照圖〉，呈現1650年代荷蘭紅毛樓的最初樣貌。
不僅名稱張冠李戴，兩位作者還指出當初建蓋赤崁城堡所在地的土地取得一事，也因時空的變化，而有了不同的記載。1625年荷蘭東印度公司以15匹棉布（cangan）向新港社人購買（新港人認係租借）赤崁的一塊地。在此建立市鎮，將商館及住宅區遷過來，同時拓展農業，爾後發展成第一個農墾區，也是重要的行政區。1685年蔣毓英《臺灣府志》說：荷蘭人誘騙赤崁的倭寇，借「約一牛皮地」，再將牛皮剪成細如繩縷，拉長圈匝成十數丈，以此圍成一大塊地。但在1764年印行的《重修鳳山縣志》，說荷蘭人原先向臺灣原住民（土番）借居，後來騙得一牛皮地，築臺灣城。「遭誘騙的主角，由漢人倭寇轉變為原住民。」
