Для начала все же задайте межсимвольный таймаут - если скорость низкая то могут рваться пакеты.
Можете также попробовать снизить скорость обмена.