Добрый день. Если перевод на ASCII не поможет, то нужен другой кабель. Витая пара это всё таки не специализированный кабель для 485. Метров 300-500 ещё тянет, а километр уже многовато. Заявленное расстояние в 1200м достигается только со специальным экранированным кабелем для 485 интерфейса, типа профибаса. А Вы наверное взяли обычный UTP 4 жилы хоть и с экраном.
И самое главное, при использовании UTP нельзя делать так как у Вас. Нужна брать именно 1 витую пару. Т.е. красненький (любой) на канал А, красно-белый на канал на канал В. Именно за счёт СВИТОСТИ (перекрученности) проводов уменьшаются наводки и импульсные помех. А в Вашем случае, Вы по сути подключили как два параллельных провода (лапша).
Так что для начала попробуйте переделать именно на витую пару.
С уважением.