柏溪乡位于县境东北，地处东经117°43′～117°51′，北纬29°51′～29°58′。东与黟县交界，南与金字牌毗连，西与祁山镇、大坦乡接壤。柏溪乡辖8个行政村（柏溪村、白塔村、方坑村、新溪村、新光村、黄荆村、溶川村和西武村、40个村民组，共1246户，总人口4742人，劳力3211人（其中外出务工1500人）。

柏溪乡总面积78平方公里，拥有山林84075亩，水田4160亩、旱地683亩、茶园4074亩、桑园500亩、果园486亩、盆景100亩。粮、林、茶、桑是该乡农民收入的主要来源。