鄱阳芝山公园位于鄱阳县城北。原名土素山。唐龙朔元年（661年），山上产灵芝3枚，刺史薛振上贡朝廷谎称系灵芝山所产。从此，芝山名扬天下，成为遐迩闻名的游览胜地，亭台楼阁相继建立。南麓有芝山寺，始建于宋代，清嘉庆二十三年（1818年）重修。