不肯去观音院位于紫竹林内，这里是普陀山建寺早的地方，加上“不肯去观音”的传说，使它成了“普陀三大寺”之外有名气的寺院。每天来朝拜的香客络绎不绝，又因为寺院建在海边，也是摄影爱好者的理想取景地。从紫竹林禅院往海边走，不一会儿就能到不肯去观音院。这座寺庙面积不大，但是公认的普陀山“海天佛国”起源地。几乎每个来此的香客或游人都能讲上几句“不肯去观音”的典故。说的是，当年日本僧人慧锷从五台山奉请观音菩萨像回国，船经舟山群岛的莲花洋的时候海面突然兴风作浪，僧人认为菩萨不愿东去，便靠岸留下佛像。后来岛上有位农民把自己的房子腾让出来，供奉不肯离去的观音娘娘。后来才有了这岛上第一座“不肯去观音院”，以及普陀山上的大小佛刹。寺庙的原建筑早已不在，现在看到的寺院是80年代重建的。也可能是因为这段典故，和黄色墙体的中国传统佛寺不同，这里看上去更像日本建筑。尽管寺里已无太多古迹，但关于此地的传奇故事广为人知，因此每天香火极盛。除了主殿供奉的仿唐式十一面观音像，寺院西侧还有“三十三观音灵场”长廊，供奉着33尊观音像，虔诚者可一一拜过。不肯去观音院对面的观海亭是看海的佳处，游人不多时可在此小憩。而旁边的潮音洞偏居一隅的位置也听适合欣赏海景，听潮声熙攘。也有许多游客在“禁止舍身燃指处”碑前拍照留影。