安障乡位于安乡县境中部，东临虎渡河与安昌乡想望，西倚松滋河东支与安凝、安丰乡对峙，南连城关镇、安尤乡、北接安全乡。全乡共有土地面积43.683平方公里，其中耕地面积3.1万亩（水田1.5万亩，旱地1.6万亩）。