山界回族乡地处隆回县西南边境，东连邵阳县长乐乡，南接武冈市双牌乡，西与本县三阁司乡接壤，北与本县桃洪镇毗邻，乡政府机关离县城5公里。

2012年统计，山界回族乡辖坳头、黄羊、木瓜、左江等25个行政村，219个村民小组，其中回族村5个，回族组74个，总面积47.1平方千米，辖区总人口2.51万人，回族9080人。全乡总耕地面积1.63万亩，其中水田1.13万余亩，旱土0.5万亩，林地2.9万亩。