望海堂建筑在闾山绝顶，原砌有高约五米的基台，修建两层殿宇，东西配房，即十间藏书库、三间居室、三间读书绘画室和十多间卫士房。四周峰顶都修有瞭望台，起保护望海堂的作用。这里就是耶律倍及爱妃高美人于辽太宗天显二年（927），从东京（今辽阳市）来闾山隐居生活的地方。绝顶峰下，原建有三层殿堂、数十间房屋的一个大院，正殿为绿琉璃瓦歇山式大木架结构，规模宏伟，金碧辉煌，专为藏书之用，冬季耶律倍与高美人移此居住，故后世称此处为“琉璃寺”。这座望海堂，是辽代最大的私人藏书楼，也是我国当时北方少数民族地区藏书最多的地方。其中不少书籍是当时就已罕见的真本和善本图书。连后唐的汉人学者都非常羡慕称赞，闾山成为辽代主要文化中心区。
原望海堂建筑，早在金灭辽时被烧毁，但遗址尚存。从柱石、砖瓦构件考察，当时建筑规模十分巨大，气势宏伟。这在地势十分险要的悬岩高峰顶端进行建筑，在羊肠小路上搬运材料，可见工程之艰巨，用心之良苦，建筑工人之劳累，可谓是辽代建筑史上的一个奇迹。峰下的琉璃寺也早已不存，但遗址尚在。寺前的一口水井，即是当年的食用水井，水质甘冽，天旱少雨时，井水也不干涸。有一大石槽为辽代遗物，专家论证为显陵前的祭器。位于望海堂东北方向不远处的高美人行宫，如今也只剩下遗址。
站在大望海寺遗址上，登峰造极，居高临下，四望群山，千峰万壑，尽在脚下。苍松翠柏犹如草坪，使人眼界顿开。“会当临绝顶，一览众山小”，确有置身于天上之感。每当阴雨天气，白云绕山而行，云雾生于足下，风吹云动波滔万顷，浑如大海；峰峦错落，形如座座海岛，忽隐忽现，扑朔迷离，宛如一幅瑰丽的画卷。冬季群山披上银装，登峰远眺，一片银白世界，诚然是“银装素裹分外妖娆”。欣赏这北国风光，更有一番情趣。
