位于市区古运河北岸的陈家花园，1904年秋，随父母、嗣母移居清江浦（今淮安市）外祖父的万公馆，并在万府家塾馆继续读书。外祖父选遗留下的丰富藏书，成了他童年获取知识的宝库。1905年9月，因万府家塾馆办得不理想，随嗣母、生母迁居到万府南面的陈家花园。嗣母请来塾师，自立家塾馆。学生一共4人：他和他的弟弟，还有他的两个妹妹。在这里，先后读了《四书》、《五经》、《西游记》、《水浒》、《三国演义》、《说岳全传》、《镜花缘》等许多部古籍名著。1907年春，生母（万氏）病故，家塾馆因无力维持而关闭。他带着弟弟返回老家淮安附马巷居住。