上余镇位于江山市与衢州市交界处，距江山市区7公里，有江山东大门之称，东与塘岭相邻，西、南与须江镇相接，北连四都镇、衢江区后溪镇。镇政府驻地大溪滩村洞塘山。