慈姥山相传为南朝梁武帝萧衍长子萧统（即昭明太子）读书的地方。昭明阁内原建有临江楼、显化阁等，清咸丰年间均遭兵毁，同治六年（1867年）重建昭明阁，为三层建筑。民国时期被毁坏。历代文人多有歌咏昭明阁的诗赋，其中清代孙佩琳《昭明阁》诗云：“慈姥矶头一棹停，昭明书阁掩松扃。萧梁一代才人尽，山色六朝江上青”。