杨溪桥地处桃源南部，东与沙坪镇接壤，西与茶庵铺镇交界，北与郑家驿镇毗邻，南抵安化县南屏镇，距桃源县城45公里。由原杨溪桥、牯牛山2个乡合并而成。

乡镇总面积192平方公里，耕地面积18343亩，其中水田13103亩，旱地5240亩，山林面积近25万亩，森林覆盖率超过86.3%，近60%地域面积属于国家级乌云界自然保护区内。境内牯牛山海拨1106米，有“桃源屋脊”之称。

乡镇总人口1.8万人，集镇常驻人口4200人，其中非农业人口2565人。全镇资源丰富，以矿业、茶业、林业为主导产业，享有“金山林海茶乡”之美誉。2015年地区生产总值20亿元，人均纯收入12027元。