明永乐八年，锡兰王邪巴乃那后裔巴来那王子来华，后因国内战乱无法回国，遂定居泉州，逐渐汉化，改称“世”姓，世氏家族在明清两代成为泉州一大望族。另一种说法是，公元1459年，锡兰王室派出昔利巴交刺惹王子率领船队前往明朝，在泉州靠岸后，锡兰发生宫廷政变，其兄弟篡位并下令捉拿他，王子只好定居泉州，取“世”为姓。相传白狗曾救过锡兰王子一命，王子后裔为感恩而建庙祭祀，庙内供奉着形似白狗的毗舍耶塑像，嘴尖而不吐舌，竖耳、蹲座，全身漆白。

该庙始建于明永乐年间，是国内唯一供奉“白狗”的庙，可能是锡兰（今斯里兰卡）人后裔兴建的印度教庙，也是国内唯一一个道教与印度教共存的庙宇 。庙名源于供奉的毗舍耶（印度洋山神，泉州人称为“白狗神”），清代泉州进士林骚将“狗”改为同音的“耇”字 。中殿现供奉着毗舍爷、杨六郎、玄天王、田都元帅和文昌帝 。庙宇为歇山式建筑，深22.8米，宽20.6米，总面积420平方米 。庙前有一对明代古鼓，庙柱上挂有“善廉耻何须恭敬，恶狡猾徒费心思”等对联 。