香山名称源于境内一座海拔785.6米的高山，此山时常发出响声，故有响山之称，后用谐音香山。