寺院位于香日德真上柴开村，这里的地势平坦、水源充足、气候宜人。香日德班禅行辕有着独特的历史渊源。1717年藏区发生了叛乱，康熙派十四子为抚远大将军，延信为平逆将军，率大军进藏平定叛乱。大军行至香日德，曾在此调集了蒙藏随征兵员，筹办军粮马匹。