玉山祠位于还剑湖畔小小的玉山岛上，有三重门阙、大殿、廊房等，通过栖旭桥与湖外相连。据记载，越南郑氏王朝曾在玉山岛上建有瑞庆宫和左望亭，后毁于战乱。后来玉山岛上建了道观，1872年重修，规模进一步扩大。