LINUX.ORG.RU
ФорумAdmin

Низкая производительность на файловых операциях при отдаче в сеть


0

0

Доброго времени суток!

Есть файловый сервер (тестируется) для раздачи по Samba и NFS. При тестинге выявились проблемы с производительностью при скачивании файла с этого сервера. На 100 Мб сетке она не выше 6,5 Мбайт/с. Этот результат получен при скачивании одного и того же файла по трем протоколам CIFS, NFS и FTP.
Сам сервер построен на 2-ч процессорной мамке с 2,8 Гц ксенонами и нагрузка при файловых операциях невелика - всего 1-2%.
Дисковая подсистема представляет собой два зеркальных рейда, один на псевдо рейде (Promise FastTrak 378), второй софтовый. Все на дисках SATA. Используемая FS - EXT3.
При копировании того же файла (он около 2Г) просто с раздела на раздел на самом сервере скрорость изначально высокая - порядка 50 Мбайт/с потом быстро падает до 20 Мбайт/с.

Может кто тюнил подобные вещи? Где капать?

anonymous

Re: Низкая производительность на файловых операциях при отдаче в сеть

Не приходило в голову, что все ограничения растут из пропускной способности сети?

100000000/8/1024/1024/2~5.96

gaa ★★ ()

Re: Низкая производительность на файловых операциях при отдаче в сеть

ну вы не совсем правильно посчитали (мягко говоря) ;-)

тем не менее скорость (практическая) 6,5 , а вы посчитали (теоретическую) 5.96. Это как говорится раз.

А два, то, что когда обратно заливаешь (на сервер) - скорость 11 Мб/с

Вот такая блин арифметика...

anonymous ()

Re: Низкая производительность на файловых операциях при отдаче в сеть

спасибо,

но тама должна очевидно быть ссыдка на статейку по тюнингу нфс - ссылка на нее не работает.

и думаю не в нфс дело - па самбе и фтп скорость аналогичная

anonymous ()

Re: Низкая производительность на файловых операциях при отдаче в сеть

начни вот с этого Iperf, померяй сколько тачки отдавать могут без дисковых операций.

если получается меньше 10-ти мегабайт в секунду, то гугли по теме tcp/network performance linux, там много информации.

полезно также позапускать vmstat и top, когда идет копирование.

а что за сетевые? почему сотка на, как я понимаю, новых серверах?

chocholl ★★ ()

Re: Низкая производительность на файловых операциях при отдаче в сеть

спасибки за ответ

>а что за сетевые? почему сотка на, как я понимаю, новых серверах?

из-за активного оборудования. Там какой-то д-линк. Сам не вижу. Далеко нахожусь от серверов.
С сами сетевые да, гигабитные. интеловые, судя по lspci. Так хз - в глаза не видел.

Сам тсп оттюненый, параметры в /etc/sysctl.conf забиты. Типа того:
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216

net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216

net.core.somaxconn = 1024

net.ipv4.tcp_no_metrics_save = 1
net.ipv4.tcp_moderate_rcvbuf = 1

net.core.netdev_max_backlog = 2500

Мне думается дело не в сетевой, а дисковой подсистемой чет не так.

anonymous ()

Re: Низкая производительность на файловых операциях при отдаче в сеть

>Там какой-то д-линк.

Подозреваю, что все дело в нём... Думаю, что для начала можно попробовать покопировать файл размером примерно в половину объема оперативки, при втором копировании он уже будет целиком лежать в дисковом кеше и скорость чтения с диска будет не особо важна (это при условии что сервер не нагружен). Можно попробовать запустить NFS по tcp и еще попробовать ftp для сравнения.

mky ★★★★★ ()

Re: Низкая производительность на файловых операциях при отдаче в сеть

ну и погоняй iperf чтоб проверить, диски это или сеть.
а что по ifconfig дропы есть?
на скорость сетевых операций может влиять нерационально настроенный iptables.

chocholl ★★ ()

Re: Низкая производительность на файловых операциях при отдаче в сеть

> Откуда берется двойка /2 ?

двойка берется чтоб ответ сходился :)


слушай, если это твоя реальная фотка, то ты жутко похож на одного моего другана. Но он от Екатеринбурга далеко. Ну просто две капли воды :)

chocholl ★★ ()

Re: Низкая производительность на файловых операциях при отдаче в сеть

что бы винты совсем исключить - создайте раздел в оперативной памяти и погоняйте запись/скачку на него

a_andry ()

Re: Низкая производительность на файловых операциях при отдаче в сеть

> При копировании того же файла (он около 2Г) просто с раздела на раздел на самом сервере скрорость изначально высокая - порядка 50 Мбайт/с потом быстро падает до 20 Мбайт/с
первые 50 берутся из кеша
если делаете все с нуля - посмотрите в сторону xfs или reiserfs (много мелких файлов)
>Сам тсп оттюненый, параметры в /etc/sysctl.conf забиты.
вам оно вряд-ли нужно. для 100Мбитов достаточно и стандартных значений
пс. стоит core 2, 6 винтов в рейде 01 ext3. на риалтеке pci-x гигабитном отдача больше 500 Мбит по ftp

a_andry ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.