胡仙堂位于蓬莱阁古建筑群的西北部，东与天后宫寝殿西山墙相连，始建于明代。它坐北朝南，面阔9.13米，进深3.73米，高4.45米，为三开间三架梁硬山顶建筑。相传明朝登州府内有一胡姓人家，家中有一公子，自幼无心读书求取功名，而热衷于寻求民间药方，进深山采药为老百姓治病。他医术高明，不管什么样的疑难杂症，都能药到病除，后来他潜修仙道，得道成仙，被尊称为“胡仙”。人们为纪念他的功德，修建了“胡仙堂”，胡仙堂香火鼎盛，前来求药治病的人络绎不绝。解放前，胡仙堂内塑像、物品被毁。2001年，蓬莱文物部门根据年长的老艺人及当地年长者的口述，恢复了胡仙堂原貌。