从大峡谷进入藏兵洞，出了洞口，就来到了红山堡。据说藏兵洞有三条通道可以进入红山堡，这只是其中的一个洞口，其余的两口洞口还没有找到，可见当年在这个立体防御体系中，上下连通，来往是多么的便捷。 红山堡是因位于红山地区而得名。据史书记载，古时在夕阳的照射下，这里山峦一片鲜红，因命为“红山”后讹传为“横山”，“红山堡”旧时也就一名“横山堡”。它是明代长城防御体系中的一个城障，始建于明弘治十六年(1503年)，由总制陕西军务户部尚书秦纮秦筑，距今已有500多年。 “红山堡”本属灵州千户所辖，其为正方形，边长均为300米，设东门一道，有瓮城，门向南开。墙高8米，底宽7米，顶厚4米，是按照明代长城沿线70里一城，30里一堡的防御体制设置的。它东至清水营50里，西至横城20里。