当地群众传说，香山寺为妙庄王之二女妙善公主修行之地。昔日妙善公主因不满婚姻而出家，入四川遂宁白雀寺，庄王曾下诏不归，便火烧白雀寺。以后庄王染疾求医，处方要亲人手眼，公主遂舍自己的手眼，疗愈庄王疾病，故封公主为“千手千眼活菩萨”，即香山寺所供的菩萨，故有香山还愿戏曲的流传。 白雀寺，是仿照四川遂宁香山白雀寺修建的，曾称云岩寺。此寺于1920年遭火灾，原建筑焚毁殆尽。目前看到的佛殿、经堂等，皆为后来重建，只有北宋雍熙年间（985）造像碑一通保存下来。