留余山居原位于南高峰北麓，乾隆帝到此游览，赐题“留馀山居”四字为额，此名流传至今。山居旁另建有江亭、听泉亭（为乾隆御题西湖十八景之一）。2004年，在原址附近按古籍记载的留余山居布局复建该景观，同时沟通水系，堆叠假山，重新添置楹联匾额，营造旧时景观。据史料记载，由六通寺沿小径而上，树木草丛中，奇石林立，不可名状。有一泉从石壁下注，高有数丈，飞珠喷玉，直落崖石，水石相击，声若琴音。山居即在泉旁，由泉左攀登至顶为楼，名“白云窝”，楼西为台，可供眺览，名“流观台”，台下有堂三间。