遗址位于尼姑顶东侧。玉虚观原为一庵，曰“圣水庵”。据1987年在此出土的一块残碑记载，“圣水庵”始于汉晋，距今近两千年。另说唐贞观年间，唐太宗曾派尉迟敬德在此监修宫观，曰“圣水宫”。从现存老祖殿内神台前一唐代风格的双层莲花卷草花纹石刻推断，唐时，这里是具有一定规模的殿宇建筑。以后几经兴废，至金大定二十七年（公元1187年），海上七真人之一的王玉阳奉召进京为金世宗皇帝讲完道经，被门人弟子迎至此地，结茅为庵。金承安二年（1197年），牒敕赐额曰“玉虚观”。翌年，王玉阳再次为金章宗皇帝讲完道学，携御赐金帛及道经一藏回此庵，集约“善众门人”“献木”“献谷”“剪荆芟草，夷峻堙谷”，扩建殿宇楼阁、亭台桥榭，易庵为观，称“玉虚观”。崇庆二年（1213年），又牒赐“玉真观”。至此，王玉阳在此地开创了全真教嵛山派，已扬名宇内。据古文记载，此时，玉虚观“苍松偃盖，古桧蟠龙，碧瓦鳞鳞，朱门赫赫，神仙异人出没，天地英灵自然之气相聚，百姓乞福求德无不灵应。游人云集，香火竟夜”。玉虚观如此壮观，加之有虎涧春风、御碑濯雨、石柱擎霄、竹园遗翠等美景及紫气谷、石燕坡、鸣钟岩、佛顶峰、二姑顶等名胜，使这里成为当时名闻天下的道教圣地之一。元代文学家元好问在《怀州清真观记》中称：“天下道院，武官为之冠，滨都次之，圣水又次之。”可见玉虚观在当时盛名天下之景象。元元贞二年（1296年），玉虚观获白鹿，献于朝廷。

玉虚观自金至明、清，屡经修葺，规模不断扩大。《宁海州志》记载：清咸丰四年（1854年）为最后一次重修。重修后的玉虚观，殿阁庄严，碑碣林立，主要建筑有玉皇阁（又称八角玲珑殿）、万寿宫（又称千真宫、万寿堂）、老祖殿、老母殿、三清殿、三官殿、三义殿等。玉皇阁最为宏伟，分上下两层。下层为12根八角石柱支撑，上层为斗拱飞檐结构，内塑玉皇大帝像。阁顶为绿琉璃瓦。万寿宫为主体建筑，宫内塑有全真道祖王重阳及全真七子像，其内雕梁画栋，金碧辉煌，姿态各异，分列两旁，显示了道家福地的肃穆庄严。

20世纪30年代以前，玉虚观一年一度的庙会，规模很大，终日香火不断。抗日战争爆发后，由于战乱，观内塑像被毁，道士逃亡，观宇日渐荒废。至60年代，古建筑也毁去十之八九，只有老祖殿及客厅、客房旧貌依稀可辨。现遗址尚有观宇石基、石柱、石狮、石兽等遗存。值得称奇的是，客厅、客房内存有一株百年紫玉兰。每当春天来临，紫玉兰就会开出紫红色的花来，芳香四溢，充盈着整个玉虚观。1981年，乳山人民政府把玉虚观遗址列为县级重点文物保护区。1992年5月，玉虚观被定为山东省重点文物保护单位，并被载入《中国名胜辞典》。

今日玉虚观，古时的道家气息早已消散，但游人至此，凭吊仙迹，聆听神话传说，每每肃穆之情油然而生，敬仰之意久久难却。