高霞山村位于邵阳县东南部,五峰铺镇的南部,距五峰铺镇政府所在地5公里,东邻本镇田东村,南界五峰铺林场大江村,西连黄旗村,北与楠木村相连。地处雪峰山余脉,高霞山脚下,属丘陵地带。 五峰铺镇至高霞山村村道为5.5米宽的硬化水泥路,交通便利。
高霞山村共有18个自然院落,分别是长塘、艳塘、郭家、汪里、对门、大禾、仁禾、清水、卯公、喻家、新屋、大院、三房头、四房头、付家冲、吴家、瓦泥等,全村共有32个村民小组,人口较多的姓氏有:秦姓、吴姓、李姓。外出流动人口主要流向广东、上海、浙江经商和务工。
高霞山村土地总面积约4.14平方公里,森林资源丰富,山地面积约1205亩,森林覆盖率达90%。其中,生态公益林960亩,经济林185亩,竹林60亩。境内有高霞山道观、李公真人遺迹、秦姓宗祠古建筑等
村里的传统习俗主要是,村民们每年的农历三月十六日会上山朝拜供奉的李公真人像,祈求平安、丰收。