潘市镇位于祁阳县中部偏东、祁山以南，湘水以北，距县城15公里，是伟人陶铸 同志的故乡。东北与观音滩镇接壤；南临湘江，分别与黄泥塘、进宝塘、白水等镇隔河相望；西与七里桥、下马渡等镇以祁山山脉为界。主要道路有衡枣高速公路14.6公里、祁羊干线22公里途经本镇32个村（居）委会。