该景点一开始是清朝怡亲王的新府，因康熙皇帝第十三子怡亲王允祥死后，舍原府改建成贤良寺，皇帝又另赐此地给嗣王弘晓，为和旧府有别，习惯称其为怡亲王新府。当传至第六代袭王载垣，与郑亲王端华等同为顾命大臣，被慈禧皇太后夺爵赐死，府宅被收回。 道光皇帝幼子奕譓道光三十年(1850年)封为孚郡王，同治三年(1864)迁出皇宫居住于此。因其排行第九，俗称九爷府。奕譓死后，过继载澍为嗣，袭贝勒，因而此府也称澍贝勒府。