五山乡位于来宾市兴宾区南部，东南界连贵港市樟木镇，西连小平阳镇，北邻三五乡，东接石牙乡。历史上长期属贵县管辖。