四贤祠位于灵渠景区里靠近天下第一陡的地方，为纪念在桂林做过官并对当地做出杰出贡献的古代四位先贤而建。其中秦朝的史禄负责修建灵渠。

元朝廉访史也儿吉尼为纪念秦监御史禄、汉伏波将军马援、唐桂管观察使李渤、唐桂州防御使鱼孟威“四贤”于元至正十五（1355）兴建。据元代黄裳《灵济庙记》记述：“兴安灵渠，有史禄始作以通漕，既而汉伏波将军继疏之，唐观察史李渤始为铧堤以固渠，作陡门以蓄水，而防御史鱼孟威复增修之。”