玉山镇位于遂平县中西部，地形以浅山丘陵和平原为主，总面积达69平方公里，耕地面积5.4万亩，辖15个行政村，182个村民组，3.2万人。

玉山镇距县城18公里，西南部紧靠国家5A风景区嵖岈山风景区，西靠查岈山人民公社旧址，县乡公路贯穿全境，交通四通八达，教育、卫生、医疗、文化、娱乐等设施一应俱全，无线通讯、有线网络畅通无阻，电力设施供应充足，各种设施完备，集镇服务功能齐全，省驻村办在此举办多次“科技大集”活动，2003年完成了省级重点镇的申报工作，2004年被确定为市级重点镇。