紫霞湖附近原有一座定林寺，在古代香火较盛，是佛教圣地。相传宋代政治家、文学家王安石曾在此读书，辟书斋名昭文斋，由书法家米芾题写斋名。但该寺年久失修，几度兴废，在其原址上新修了一座“王安石纪念馆”，称“定林山庄”，花墙环绕，建筑古雅，馆内陈设皆照原样，大小文物保存良好，其画像也是宋代名画家李公麟所绘。