亭子的主人苏小小是南齐时钱塘的一位歌妓，生得聪明美丽。有次她乘车出游，在白堤上碰到骑马而来的青年才子阮郁，两人一见倾心。后阮郁被在京做官的父亲派人催归，从此再没有返杭。苏小小极知自爱，因受官绅欺凌，忧郁而死。死后，曾受她银两资助得中功名的滑州(镇江)刺史鲍仁，将其葬于西泠桥畔，也就是现在的慕才亭。