西来寺曾称“盘石寺”，“西来”指达摩祖师处天竺西来或佛经来自西天之意，始建年代不详，清康熙四年（1665年）重建，虽经嘉庆二年、光绪四年的几次修葺，终因年代远之，已破旧不堪。1949年后也修葺几次，不尽人意。1980年柳州市人民政府拔专款按原样重修，增高大殿，扩展空间，重建的大雄宝殿庄重大方，更显东方庙宇风彩。现为柳州市佛教协会会址。