回香阁位于华严岭上，华严岭是由九华街蹬道上天台必经之岭，有寺名“回香阁”。回香阁始建于明代，历代屡毁屡建，现存建筑为90年代建造。大雄宝殿为宫殿式，重檐翘角，内供华严三圣，毗卢佛、文殊、普贤、二十四诸天等塑像。