南岳广济寺原名清凉寺，因衡山县城有一清凉寺，故更名为广济，取佛法广济众生之意。明万历二十三年（公元1595年）无碍和尚募建。清康熙（公元1662～1722年）年间智犁和尚重建，现存建筑有二进，外有石墙。相传此地时见佛光，故又名毗佛洞，实非洞，因处于祝融、紫盖两峰之间的峡谷中，地形似洞，即以洞名。寺外存有唐以来多处石刻，并长有原始次森林和金绒毛皂荚等稀有树种。