吕祖殿位于蓬莱阁景区宾日楼南侧，坐北朝南布局，由重门、正殿和东西两底组成，皆为庙宇式建筑。清光绪三年（1877年）知府贾湖、总兵王正起倡建。正殿为三开间硬山结构，北壁与宾日楼联体，长9.04米，进深8.05米。殿内设高台神龛，中祀吕岩（吕洞宾）坐像，左右侍立药童和柳树精。