由谷阿上人奠基。曾经位于袖凑海边被称之为浮御堂。1222年，海中出现人鱼，占卜解说为国家长久昌盛的瑞兆。将人鱼埋于寺内，是将寺名改为龙宫寺的由 来。此时，正值朝廷下派的勅使冷泉中纳言来此，因而取其姓氏命名为冷泉山。1480年，确立正风连歌而扬名的宗祇来此寄宿，并作诗歌颂这里而被熟知。