玉山祠位于还剑湖畔小小的玉山岛上，有三重门阙、大殿、廊房等，通过栖旭桥与湖外相连。据记载， 越南 郑氏王朝曾在玉山岛上建有瑞庆宫和左望亭，后毁于战乱。后来玉山岛上建了道观，1872年重修，规模进一步扩大。 入寺之道建有围墙，寓意忘却尘世。在一个小土坡上建有一座笔塔，相对不远处建有一座大砚台，每年中有一天，当太阳升起时，笔塔之尖影入砚台。玉山寺内有不少碑刻和楹联。 整个寺院结构精致，小巧玲珑，与还剑湖景色相辉映，犹如 蓬莱 之景。玉山岛15世纪时是黎朝皇帝的钓 鱼台 。18世纪时在岛上建了关帝庙，后扩建为玉山祠，现在里面还供奉着关帝以及民族英雄。 祠内还有一只1968年中还剑湖中打捞起来的乌龟标本，重达250公斤，让湖中有神龟的传说更添神秘感。

去玉山祠参观要通过一座小小的栖旭桥，好像要收几千盾的门票，非常便宜的。这个祠不大，在还剑湖上的一个小小的玉山岛上，建筑古色古香的，还有以为是到了中国的某个小寺庙，可以看到非常熟悉的中国文字和图腾。