衡南县柞市镇位于衡南县西南，东南与茅市镇接界，西邻祁东县金桥镇和白鹤镇，北与泉湖镇、谭子山镇相连。