极乐庵的历史悠久，距今的历史有1500年，不过原本的建筑遗迹被完全摧毁了，现在的建筑是在遗址上重建的。寺内的银杏树传说有千年的历史，长势繁茂，很有灵性，周边的村民会在树上挂红布，祈求平安，香火不断。