姚家大院建于民国八年（1919年），为当地大地主姚氏家院。1945年春，新四军苏浙区前线指挥部为了控制莫干山及杭嘉湖敌后区，建立前进基地，组成了前线指挥部，粟裕为司令，挺进孝丰、安吉。粟裕司令员在指挥反顽自卫战役时，将此大院作为新四军政治部，粉碎了国民党第25集团军近13个师，43个团得疯狂进攻，取得了三次反顽战役得辉煌胜利。解放后，大院建筑内的柱梁、板壁上皆刷上石灰以用做粮仓，直至1990年。