LINUX.ORG.RU
ФорумAdmin

rsync медленая передача

 


0

3

Столкнулся проблемой скачивания по rsync, стоят 2 сервера, первый в UA, отдает файлы на второй сервер в RU. Скорость составляет менее 10 мегабит. По wget скачивает почти гигабит, но мне архивом качать не вариант, надо чтобы файлики качало. Пинг между железом 17мс, хотя врядли пинг тут проблемой стал, по wget прёт на полную ведь. Куда копать подскажите. PS только что тестировал 3 загрузки запустить, 3 по 8 мегабит качает, одну запускаю, одну 8 мегабит качает. Для интереса 6 запустил, все 6 загрузок по 8 мегабит.


Попробуй понизить MTU до уровня 1360 на принимающей стороне.

romualdo
()
Ответ на: комментарий от most-fucktum

так rsync передает не по 22 порту, а по 38ххх. Файлов много мелких согласен, но на другой сервер передает rsync со скоростью порядка 700мегабит. А тут запустил 6 rsync закачек и все ровно по 8 мегабит передают, буд-то что-то ограничивает макс скорость передачи каждой закачке

User01
() автор топика
Ответ на: комментарий от User01

все ровно по 8 мегабит передают, буд-то что-то ограничивает макс скорость передачи каждой закачке

rsync имеет опцию bwlimit может она где-то неявно задана

anonymous
()
Ответ на: комментарий от anonymous

да да, все тоже самое. Но он в UA стоит. Что и натолкнуло на мысль торможения из-за пинга. Но wget качает под 1G, и когда запускаю много закачек rsync, скорость сумарная увеличивается, а вот каждая закачка 8 мегабит ровно держится.

User01
() автор топика
Ответ на: комментарий от anonymous

bwlimit вроде указывается при скачке, но я ведь rsync -avu admin@xxx.xx.xxx.xx::test /test/ вот так запускаю

User01
() автор топика
Ответ на: комментарий от anonymous

ну на скрине другие порты используются, версия с ssh есть, меня файлы с другого сервера sshd_config и ssh_config, не помогло. Службу ssh перезапустил, но ребут не делал, мб ребут необходим.

User01
() автор топика
Ответ на: комментарий от User01

не смысла сравнивать wget и rsync — разные протоколы

проверь передачу файлов по scp (ssh) и если она будет больше 8М, то запусти rsync over ssh

anonymous
()
Ответ на: комментарий от User01

Я правильно понял ситуацию
твой хост -----rsync-------> server1 = скорость 8Mbps
твой хост ------wget-------> server1 = скорость 700Mbps

твой хост -----rsync-------> server2 = скорость 700Mbps
твой хост ------wget-------> server2 = скорость 700Mbps

?

zolden ★★★★★
()
Ответ на: комментарий от zolden

да, тут rsync тормозит передачу, каждая задача как видно на скрине ограничивается 8 мегабит, хоть одну, хоть десяток их запусти все по 8 мегабит будут. Тоесть вариант что не хватает канала отпадает. Думаю проблема с авторизацией по ssh тормозит, вариантов больше не имею

User01
() автор топика
Ответ на: комментарий от User01

Авторизация это первый шаг, она может влиять только на скорость установления соединения, а не на скорость передачи.
При этом, судя по команде, ssh вообще не используется
Что в iptables на обеих сторонах?

zolden ★★★★★
()
Ответ на: комментарий от zolden

iptables на сервере в RU чист пока что, на хосте откуда скачиваю стоит граничение к портам 1500, 21,3306 и лимит конектов с одного ip к порту 80. Но это врядли влияет на передачу. К тому же полтергейст состоит в том, что не важно сколько передач rsync запустить, все ограничиваются 8 мегабит передачей.

User01
() автор топика
Ответ на: комментарий от zolden
qdisc pfifo_fast 0: dev eth0 root refcnt 2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1

rsync over ssh можно подробней, что с этим делать, тут не понял

User01
() автор топика
Ответ на: комментарий от zolden

да это уже нервы и не опытность в Linux)

User01
() автор топика
Ответ на: комментарий от User01

в случае авторизации по ключам нет никакой разницы с scp
если же ключ не прописан в .ssh/config, то можно указать его явно
-e 'ssh -i /path/to/id_rsa'

zolden ★★★★★
()
Ответ на: комментарий от zolden

x5650 железки, что-то я не верно указал, не хочет ключ хватать

rsync -avvP -e 'ssh -i /root/.ssh/id_rsa'  /srv/ admin@xx.xx.xxx.xxx:/host/f500

User01
() автор топика
Ответ на: комментарий от User01

не хочет ключ хватать

в чём это выражается?

как ходите на тот сервер по ssh, как именно выглядят команды?

zolden ★★★★★
()
Ответ на: комментарий от zolden

да с домашнего пк по ключам, а вот rsync через открытый порт передавал, там файлы если и вытащат в них ничего важного нету поэтому не прятал.

User01
() автор топика
Ответ на: комментарий от User01

да с домашнего пк по ключам

как именно указывается ключ при этом?

пропиши в ~/.ssh/config
Host xx.xx.xxx.xxx
User admin
IdentityFile /root/.ssh/id_rsa

тогда rsync'у ничего не надо будет указывать вручную

zolden ★★★★★
()
Ответ на: комментарий от User01

Да скопируй ты уже нормально ssh ключи, в конце-то концов. Что за извращения ты делаешь? Генеришь юзеру ключи ssh-keygen, копируешь на удалённый хост ssh-copy-id, потом проверяшь автоматический логин по ssh, потому уже пробуешь rsync over ssh. Зачем всё делать через жопу?

targitaj ★★★★★
()
Ответ на: комментарий от zolden

давайте я с вами свяжусь в скайпе к примеру, да за вознаграждение быстренько проверим и все. Я чуть не понял куда вписывать, в сервер который скачивает или который отдает файлы и какой ip давать ему, мозг уже кипит.

User01
() автор топика
Ответ на: комментарий от targitaj

запутался в край. На сервере который отдает, стоит ключ с паролем. Второй сервер который принимает, имеет ключ без пароля. Получается если я хочу со второго сервера подключиться на первый, надо ключ и пароль указать.

User01
() автор топика
Ответ на: комментарий от User01

ключ который я использую для подключения к первому серверу через putty наверное же не подойдет для авторизации с другого сервера.

User01
() автор топика
Ответ на: комментарий от User01

ключ который я использую для подключения к первому серверу через putty наверное же не подойдет для авторизации с другого сервера.

чего???

targitaj ★★★★★
()
Ответ на: комментарий от targitaj

Пробовал только что с другого сервера который в той же стойке, в том же дц стоит, скорость 60мегабит, серевер такой же, файлы те же.

User01
() автор топика
Ответ на: комментарий от User01

Вот полтергейст. В одной стойке стоят 2 одинаковых сервера, запустил 2 rsync закачки, с одного 8 мегабит как и было, со второго валит за сотку. скрин

User01
() автор топика

scp затесть для начала

vxzvxz ★★★
()
Ответ на: комментарий от User01

rsync -avu admin@xxx.xx.xxx.xx::test /test/
wget скачивает почти гигабит

ета для чистоты экперименту вгетом и рсинком все на один и тот же диск сбрасывается?

vxzvxz ★★★
()
Ответ на: комментарий от anonymous

хоть одну, хоть десяток их запусти все по 8 мегабит будут.

Проблема в загрузке и кол-ве CPU на медленном серваке !!!(100%)

Мимо, болезный. Десяток rsync'ов, каждый дающий по 8 мегабит откуда CPU берут? Из астрала?

anonymous
()
Ответ на: комментарий от anonymous

также ещё смотри не откуда льеш,а куда льеш, ну и последнее у тя доступ к свитчам есть ? если нету тогда забудь - если есть смотри настройки портов.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.