虹饮山房是清初木渎文人徐士元的私家园林，乾隆下江南每游木渎，必先在此弃舟登岸，入园游历。因而，当地都习惯称虹饮山房为韩隆的民间行宫。纪晓岚、和珅、刘墉等大臣也曾数次下榻于此，留下了段段佳话。虹饮山房由秀野园和小隐园二处明代园林联袂而成，其“溪山风月之美，池亭花木之胜”远胜过其他园林。清末，小隐园部分为一代“刺绣皇后”沈寿故居。