процентах в 80 случаев, задержки (не обязательно ftp, могут и pop/imap/smtp/etc) связаны с кривой работой dns, проверяй чтобы у тебя резолвился hostname (хотя бы через /etc/hosts).
DNS не при чем, я обращаюсь к машине по ip-адресу.. при чем машина подключена через свитч с той, с которой я обращаюсь и они обе стоят у меня под столом. Время ping-pong меньше миллисекунды.