村外有乌溪江，天马山孤峙村西，笔峰、石梯峰壁立村东，并有寨墙拱卫南北两端，地形险要，是浙南山区较典型的古代村寨。约在在南宋孝宗年间，松阳人尚书左丞相叶梦得之曾孙叶峦自古市的卯山移居于此，始形成村落。明嘉靖间，叶以蕃殿试得中二甲第十九名，官工部员外郎，一时文风卓盛、文士辈出，立宗祠，建寨墙，村容大壮。独山村不仅保持了古代村寨的传统风貌，还存有许多文物古迹，第二次国内革命战争时期和抗战时期，不少红军、游击队的标语还保留在叶氏宗祠的粉壁上。