这座绛红色的建筑就是镇海楼，它是广州文化史迹引人注目的一颗明珠，被誉为岭南第一胜景。镇海楼因其楼高五层而称其为“五层楼”。此楼于明洪武十三年（1380年），由永嘉侯朱亮祖所建，初名“望海楼”，后又题名为“镇海楼”，有雄镇海疆之意。1956年改为广州博物馆。
关于镇海楼的兴建，有一段有趣的传说。朱元璋得了天下，定都南京，建立明朝之后。一天，他和铁冠道人同游南京钟山，游兴正浓之时，铁冠忽然指着东南方对朱元璋说，广东海面笼罩着青苍苍的一股“王气”，似有“天子”要出世了，必须立刻在广州建造一座楼镇压住“龙脉”，否则日后必成大明的祸患。朱元璋听后，游兴顿失，急忙派人到广东查询，发现广州的越秀山上现王者之气。朱元璋立即下诏，命令镇守广州的永嘉候朱亮祖在山上建一座楼将王气镇住。圣旨下来，朱亮祖自然不敢怠慢，于是，在越秀山上兴建了这座“楼成塔状，塔似楼形”的镇海楼。该楼呈绛红色，据说亦有辟邪镇王之意。
镇海楼是广州现存最完好、最具气势和最富民族特色的古建筑，楼高28米，阔31米，共五层。第一、二层用红砂岩条石砌成，三层以上为砖墙，外墙逐层收减，似楼似塔，红墙绿瓦，造型古朴独特。楼前对峙一对高达二米的红砂岩石狮，为明代雕刻。镇海楼坐北向南，翘檐飞脊，巍峨挺拔，雄镇山巅，气度非凡，独具特色。清初著名诗人屈大均盛赞镇海楼山海形胜、玮丽雄特，虽黄鹤、岳阳不能超过它，实“可以壮三成之观瞻，而奠五岭之堂奥”。在清朝时期，镇海楼一直是广州最高的建筑物。登上楼顶，远眺珠江水波荡漾，波澜壮阔，蔚为壮观;近抚云山层峦叠翠，羊城锦绣，尽收眼底，气象万千。
镇海楼的西侧，是刚介绍过的古城墙，东侧是博物馆的专题陈列室，西面建有碑廊，陈列着历代碑刻24块，是研究历史文化名城的宝贵资料。在林林总总的碑刻中，值得一提的是“贪泉”碑刻，上面刻有晋代广州刺史吴隐之的《贪泉诗》，这里有一个发人深省的故事：
东晋时期，广州由于地处南海之滨，比较富庶，而当地官吏贪污成风。有所谓“经城一过，便得三千两”之说。广州北石门，是中原往来广州必经之地。石门有一泉水，名为贪泉，来广州上任的官员喝了贪泉水就会变为。东晋元兴初期（402—404年），吴隐之为广州刺吏。他到广州赴任经石门时，听了这个贪泉水会改变人原来廉洁之性的传说，特地酌泉水饮并写诗一首，云：“古人云此水，一歃杯千金，试使夷齐饮，终当不易心。”吴隐之以诗铭志，在广州为官期间，果然清廉自持，留下一个清官形象。后人因而在贪泉建碑，以警示污吏。此碑原竖于石门，1963年移于此。
在碑廊旁边，有一批古炮，是明清时期广州城防大炮，其中四门由佛山所造。当年，林则徐到广州禁烟，为加强广州城的防务，命佛山炮工铸造一批大炮，这些炮便是当年所铸的。大铁炮原安放在越秀山炮台，曾在1841年和1856年的第一、第二次战争期间广州人民抗击外国侵略者的武器。战争失败后，这些铁炮和炮台一同遭遇侵略者的严重破坏，炮身两侧的炮耳被打断，点火的炮眼用铁钉钉死，使大炮失去了作用，这也充分暴露了侵略者狰狞面目与色厉内荏的本质。
五层楼顶层高悬着一个“镇海楼”金色巨匾，两边有一副木刻的楹联：
万千劫危楼尚存，问谁摘斗摩星，目空今古
五百年故侯安在，使我倚栏看剑，泪洒英雄！
楹联是清光绪年以兵部上书衔赴粤筹办海防的彭玉麟授意其幕僚李棣华所作。联中的“故侯”即镇海楼建筑者朱亮祖，而今楼存人故，可证历史沧桑。“目空今古”和“泪洒英雄”则是有感而发。当年彭玉麟因中法战争率军入粤，驻节镇海楼上。他反对李鸿章议和不成，也只有“泪洒英雄”了。李棣华深知上司胸怀和遭遇，故由咏楼而意境磅礴，是闻名海内外的名联。转瞬六百载，镇海楼下，物换星移，人世全非。只有这绛红的古楼，经历无数劫难，多少风霜寒暑，兵荒马乱，碧瓦朱墙依然如故，它仿佛历史长者的身份，不知疲倦地向人们诉说着逝去的岁月。
五层楼现在是广州博物馆，陈列着广州从新石器时代至近现代共四千余年的历史文物。一楼容千载，两眼通古今。那一片片先人留下的粗糙石器，那一件件斑驳陆离的铜器和古陶瓷，还有发黄的历史文献和照片，让人们了解2000多年来广州城市的发展历史。
五层楼每年接待中外游客数十万人次，1996年月10月和五羊石像一起以“穗石祥楼”之名被评为广州旅游十大美景之一。随着旅游业的发展，原有的陈列已不能满足需求，政府拔专款在楼的东侧兴建了一座二层的古建筑。这座新陈列室小巧玲珑，古色古香，和五层楼交相辉映，相得益彰。
