不退寺，又称作业平寺，建于847年。不退寺的前身是属于平城天皇的皇家别宫，当时已经迁都平安京（今京都）的天皇非常思念在平城京（今奈良）的日子，就决定在奈良修建一所离宫，以便日后搬回这里。但后来，离宫虽修成，天皇已经驾崩，继任的皇子就接手了这里，改建为了不退寺，供奉着圣观音。