据清同治《攸县志》记载，此地一山独耸，如鸾起舞，故名鸾山，镇以山名。北宋彭天益曾以诗句“鸾山配凤岭，金水绕银坑”形容此地。