云台山有许多供人追忆的历史遗迹。这里曾有过不少古寺庙，其中最为著名数云台寺。云台寺的前身，是元代和明代的云台书院。明朝的南溪籍进士汪忱、唐佐都曾在此寒窗攻读，留下无数不朽的篇章。改为寺后，累经开拓修整，规模越来越大，成为有三重大殿的名寺，是川南佛教圣地，与泸州方山齐名。每年来自各地的朝山者，络绎不绝。因此，云台山被人们称为“小峨眉”。