不肯去观音院，位于紫竹林，紫竹林是观音修道的地方，里面有全山建寺较早的地方不肯去观音院。在潮音洞旁，有一堵黄色矮墙围着三间质朴的佛堂，佛堂中终年香烟缭绕，这就是不肯去观音院。不肯去观音院于1980年得以重建。据历代山志记载，后梁贞明二年（公元916年），日本僧人慧锷从五台山奉观世音菩萨像回国，船经普陀山洋面受阻，以为菩萨不愿东去，便靠岸留下佛像，由张姓居民供奉，称为“不肯去观音院”，是为普陀开山供佛之始。