该寺位于五台山西台的北侧，大约初建于公元460年至公元495年北魏时期，是五台山首批建造的十几座寺庙之一。传说古有两印度梵僧飞临至不二对谈石，一夜之间幻化出七十二座楼宇殿阁，后学弟子为纪念祖师建庙恩德，尊为西来寺之名，沿用至今。