横江镇是吉安县四大古镇之一，全境地域呈不规则菱形。中部低平，属河谷平原，四周略高，属低丘岗地，平原与岗地比为2：1，宜发展种植业和养殖业。是历史悠久的农村集镇；

相传唐时此地原为一个沙滩，沙滩上建有一个赵公亭，一艄公在此渡口摆渡禾河，因而得名，集市以赵公亭为中心逐渐扩大成正大街、渡船口、中市街、西乐口、赵公亭、彭家口、三家店、猪仔街、梁家堪等9条街道。