文华书院前身是玉皇阁，玉皇阁曾是为巍山清代建筑中规模较大的殿宇，始建于明代，清同治八年（1869年）毁于战乱，清光绪元年（1875年）在玉皇阁旧址上创建文华书院。书院在光绪29年改为高等小学堂，它占地4000多平方米，由大、二门、泮池、雁塔坊、奎星阁等大小九个院落组成，现只有藏书楼、奎星阁、雁塔坊及部分厢房。文华书院原存碑10通，为清光绪初年筹拨杜文秀起义军“叛产”作书院经费的布告，有一定人文历史价值。