小鱼山原是一座无名小山，因靠近鱼山路而获“小鱼山”之称。这座山的历史可以追溯到1922年，当时根据山东东阿境内佛教名山鱼山，将绕山的道路定为鱼山路，此山也就因路而得名“小鱼山”。