清凉山名称的由来源于清凉寺，清凉寺建于公元十世纪初，刚开始叫“兴教寺”，是南唐时李氏王朝的避暑行宫。南唐后主李煜常来此诵经拜佛，并常留宿于此，后改名叫“清凉大道场”，宋代时改为“清凉广慧禅寺”，明代初年称为“清凉寺”。历遭毁废重修后的清凉寺目前只有一座三开间殿堂和五间供僧人生活、居住的瓦房。