据佛教经典记载，释迦牟尼之子名“罗睺罗”十五岁出家当沙弥，“不毁禁戒，诵读不懈”，证了阿罗汉果，被称作“密行第一”，成为释迦牟尼佛的十大弟子之一。传说他曾在罗睺寺所在地显圣并留下足迹，罗睺寺就是祀奉罗睺罗的寺庙。
罗睺寺始建于唐代，明弘治、万历和清乾隆年间均有重修，是五台山十二处黄庙之一，也是五台山黄庙中很有影响的一座寺院。
最喜欢罗睺寺进山门前的夹墙石道，还未进门浓浓的藏寺风格已经让人喜不自禁。
顺弯曲的夹墙石道来到山门前，山门前有一对唐代石狮，硕大雄浑，威武壮猛。台怀中心区诸多寺庙大多都有石狮子，而唐代遗留下来的惟有此一处。
寺内的文殊塔为藏式砖塔，塔身覆钵状，上建束腰须弥座，金属华盖，塔腹有文殊像，故名为文殊塔。