香山寺始建于明朝，原名“妙香庵”。大雄宝殿前有块巨石叫“犀牛望月”，牛颈有一天然岩洞叫“犀牛洞”，洞壁上有一联：“秀句满江国，芳声腾海隅”，乃清户部尚书，同治、光绪皇帝的老师翁同龢所题，旧时佛堂就建在犀牛洞内。香山寺周围的山谷盛产兰花，花开时节，幽香阵阵，故寺名叫“香山寺”。