此塔起初为南朝宋武帝刘裕代晋以后所建八丈佛塔，现存之塔已非原塔。现塔5层8面，高23米，中空，塔身上尖下阔，逐层收减。塔面檐角突出，用砖砌成仿木斗拱结构。该塔历经风雨剥蚀，现微倾斜，可见沧桑。古时山上有宋离宫、凌歊台、怀古台、誓清堂等。山顶的凌歊台五尺高。黄山塔虽数次重修，仍带有宋代、明清时期的风格。