明末，宏村人在南湖北畔修建了六所私塾，又称“依湖六院”。在清嘉庆十九年（1814年），此六院被合并，取名“以文家塾”，又称“南湖书院”。曾任清政府内阁中书，后任驻英、日公使，代总理大臣的汪大燮，澳星发射研制专家之一的李小鹃等学者，都是在这里启蒙的。