翁氏故居占地面积广达6000平方米，总建筑面积在3000平方米左右。其建筑设计遵循我国古代官绅住宅以中轴为主的形制格局，分东、中、西三大部分。翁氏故居綵衣堂为典型的明清建筑。此宅原为明代成化、弘治年间本邑大族桑氏所建，至今已有五百多年历史，翁同龢在此度过了青少年时期。