回雁峰山虽不高，因历史名人的诗文以它为典故者甚多，文因景成，景借文传，故名扬天下。唐代诗人王勃在《滕王阁序》中有“雁阵惊寒，声断衡阳之浦”佳句。伟大诗人杜甫曾居衡阳，留下了“万里衡阳雁，今年又北归……”的诗句。钱起、刘禹锡、柳宗元、杜荀鹤、王安石、文天祥、范仲淹等都留有脍炙人口的诗文。文因景成，景借文传，故名扬天下。明未清初大思想家、哲学家王夫之出生于回雁峰下王衙坪，北宋大理学家周敦颐从小在衡州舅父家成长，人文荟萃，使回雁峰名扬中外。