LINUX.ORG.RU
ФорумAdmin

Сетевое копирование


0

0

В сети имеется 12 машин (скорость сети составляет 1 Gbit/s от каждой до каждой машины). Между машинами есть беспарольный rsh, можно настроить rsync. На каждой из машин есть большой и быстрый RAID, на котором рядом хранится ~200 директорий с данными, _примерно_ по 2 GB в каждой. Для каждой директории известно, на какую машину ее надо скопировать и под каким именем, например:

host1:data-for-host2-part-3 => host2:data-from-host1-part-3

Бывает и так, что данные в конечном итоге нужны на той же самой машине.

Задача - скопировать скриптом все куда надо максимально быстро.

Решение "запускать все копирования параллельно и пусть TCP-стек все разрулит" в принципе работает, но при таком подходе, как правило, копирование одной или двух директорий обваливается из-за сетевых ошибок.

★★★★★

udpcast

Description: multicast file transfer tool
a file transfer tool that can send data simultaneously to many destinations
on a LAN. This can for instance be used to install entire classrooms of PC's
at once. The advantage of UDPcast over using other methods (nfs, ftp, whatever)
is that UDPcast uses Ethernet's multicast abilities: it won't take longer to
install 15 machines than it would to install just 2

SlavikSS ★★
()
Ответ на: комментарий от SlavikSS

> udpcast

Не то. Эта штука позволяет копировать одно и то же на несколько машин с одного источника. У меня для каждой директории-источника ровно одно назначение.

AEP ★★★★★
() автор топика
Ответ на: комментарий от SlavikSS

> ну тогда rsync`ом по очереди )

Тоже пробовал, с заранее перемешанной случайным образом очередью. Итого: когда в силу случайности начинают качать данных с одного хоста-источника больше, чем с других, то соединения с этим хостом начинают тормозить (гигабит один на все приемники). Потом у других хостов-приемников доходит очередь до этого источника, и он начинает тормозить еще больше. В результате все хосты по сути простаивают, а один загружен rsync'ами по самое не хочу.

AEP ★★★★★
() автор топика

> копирование обваливается из-за сетевых ошибок.

хренасе ты сеточку построил. С учётом того что того что порвать tcp-соединение надо иметь ну ооочень голимую локалку начни с приведения сети в порядок.

true_admin ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.