听鹂山房坐落在增华阁东北山腰里。过去这里古树参天，浓荫蔽日，风凉清幽。招隐山上花鸟众多，终日鸟声不绝，黄鹂叫声万为宛转动听。戴颙隐居此山中时，较喜爱听黄鹂的鸣叫，常携带酒和柑，独坐绿荫中，聆听黄鹂歌啭，怡然自得，终日不厌，人问何故，他说：此俗耳针砭，诗肠歌吹。"这就是有名的"戴颙斗酒双柑听鹂声"典故的来历。