胜归山相传为晋朝刘牢之战胜孙恩归来之屯兵处，胜归山由此得名。山上多石，石质较佳，历来为采石基地，故又名打石山。山上多摩崖石刻，分东西中三处；东山崖分上下两处，上山崖成葫芦形，下有石宕，水色暗绿，唤声回音荡漾，深处刻有“余姚壮观”四个大字，山崖形势雄伟险峻。下山崖呈卵圆形，前面有隘口，也有宕，水清澈，凉气逼人。西山崖高而开阔，象一座大屏风，石上刻有孙中山像，是民国前期所刻。惟中部为纪念历史人物胡宗宪而名胡公岩。 胡宗宪，字汝钦，安徽绩溪人，明嘉靖进士，官封宫包大司马，是明朝平倭将领，曾任余姚县令。他在官时，定胜归山为县城，北面坐镇山，禁止采石，民间认为保护坐镇山能保佑后人。为纪念好官，邑人李木等为其刻石山上，记其史绩。在明清两代和民国初期，又先后在这山上凿刻胡公石像，同时附近又凿刻十几尊佛像。从此游客和香客日盛，成为姚北一大古迹。自1981年6月余姚县人民政府公布为县级文物保护单位后，游览的人更兴盛了。