高家堡为众山环抱，因此当地人便将城南之上称为“南山”。南山亦有名，曰兴武山，因山上建有无量寺(供奉真武大帝，为北方之神)，因此也称无量山。

从寺庙创立之时起，高家堡人对神灵似乎寄托了无尽的祈望:求作战得胜，求世间无争，求平安返乡，求雨顺年丰。

依山叠建的上下两院，每座精巧的小寺错落有致地与山体融为一体，半山疑无路，山巅别有天。

山麓石质牌坊为下山门，雕刻繁复，台阶陡立，直通中山门，门头题有“峻极天”，原为明代榆阳李秀所书，原石刻长1.2米、宽0.4米。进入山门向南穿行，石崖有榆阳王兴榜书摩崖石刻“塞北蓬瀛”、单字高近1米，书法气势磅礴、雄浑有力。左拐进门，别有洞天，豁然开明，此为庙群下院。

庙群下院古窟神堂、佛道并存，以佛殿为中心，之以三官殿、娘娘庙和神堂。悬崖之上，石头凿砌暗洞相连，此处崖壁刻有1920年高家堡文化名人杭锡龄、刘培英的律诗五首，颂咏山川景物，抒发抱负情怀。拾阶而上，暗道曲径通幽，通达庙群上院。

山顶之上为祖师庙，正股五间供奉真武大帝，东西配殿供奉眼光萨、老君、玉帝和药王诸神，东西廊房供奉全真道南五祖和北七真。南面正中建戏台，钟鼓楼建在两侧，院落开阔，殿宇森严。

庙内遗存清代石碑四通，其中重修兴武山戏楼碑为螭首，首身一体，碑上记载“祖师殿创自明时，由来久矣，屡经补修，殿宇虽为严肃而庙院狭小，往来敬香者不免有区区莫展之难，于是有主持隆株诚心，怒发愿舍己财一百千文须，邀惠来等协力募化，得金七百余千文，兴工于光绪八年桐月，告竣于光绪九年桂月。”落款“大清光绪十五年岁次已月十一吉旦”。

外包城的石壁嵌刻大字“山河永固”，原清末神木处士王万清的题刻在炸山取石中被毁坏，2000年庙宇维修时由时任神木县长郭宝成书写。

在贫瘠荒凉的黄土坡上，每座庙宇都没有粗梁大柱，一砖一瓦都是朴实单调。走进高家堡，拾阶而上的兴武山，带给你的是心灵的安逸，寺庙的意义早已不止是祭天的圣坛或者修佛的道场，它承载着众多信徒的愿景，寄托着众生的感情。