Почему файловые системы сейчас стали прожорливыми?

Это журнал жрёт.
На роутере - только ext2/3 без журнала и exfat в ядре.

Гигабитные порты в свитче. В условной малине, которая к нему подключается - 100 мегабитные, прочитайте внимательно, всё написано уже.

Эти чудо-роутеры по сетевой производительности многократно превосходят raspberry pi

Про архитектуру этих роутеров выше написали:

MediaTek MT7620A 600 МГц:
процессор MIPS 24K

Против Quad Core 1.2GHz Broadcom BCM2837 64bit CPU - это у RPI3

Так что нет, не превосходит. ARM'ы в основном всегда быстрее, я как разработчик под встраиваемые системы говорю, а в данном случае - точно будет быстрее.

EXT2/Fat32

Как там с созданием файлов больше 4Гб?

Так что нет, не превосходит. ARM'ы в основном всегда быстрее, я как разработчик под встраиваемые системы говорю, а в данном случае - точно будет быстрее.

Ты некомпетентен. Ethernet по USB не может быть быстрее Ethernet от SoC, эмбедщик ты кислых щей.

Ты некомпетентен. Ethernet по USB не может быть быстрее Ethernet от SoC, эмбедщик ты кислых щей.

Причём тут вообще Ethernet по USB ?

Я говорю о вычислительной производительности, которая нужна для задач вроде transmission'а. Быстрый ЛОКАЛЬНЫЙ ethernet мне даёт гигабитный свитч в который это всё подключается. А у роутеров зачастую нет ни быстрого CPU, ни честного гигабитного ethernet'а в локалке, либо стоит оно под 20 косарей.

эмбедщик ты кислых щей.

А вообще, стоит следить за языком, молодой человек. И не обвинять всех в некомпетентности не разобравшись.

1. какие? желательно теорию ссылкой.

man mkfs.ext4 (https://linux.die.net/man/8/mkfs.ext4). Гуглите про параметры stride и stripe. Они размещают структуры ФС относительно chunk'ов raid-массива и кроме увеличения производительности уменьшают вероятность повреждения данных связанную с неполной записью chunk'ов при сбое питания.

2. влияет если проблема с питанием.

Точно так-же влияют проблемы с остальным железом, проблемы с ОЗУ, и проблемы с космическими лучами. Даже RAID-1 вас не спасёт, если питание плохое, т.к проблема неодинаковой записи при потере питания присутствует и в нём, я точно так-же видел повреждения как и в софтварных так и в хардварных raid'ах 1 при проблемах с питанием.

RAID не заменяет бекапы данных каким-то магическим образом. RAID это всего-лишь технология которая позволяет вам оперативно менять выходящие из строя диски благодаря избыточности. Об этом черным по белому написано как в википедии, так и в доках к нему. Так или иначе для надёжной работы рейда нужны определённые внешние условия - если вы не можете их обеспечить - это не проблема raid'а.

3. мне интуитивно кажется, что еженедельное вычитывание массива не сильно хорошо сказывается на здоровье дисков. Если есть информация об обратном - хотелось бы ссылки.

А мне кажется, что «интуитивно», это не научный подход - фу таким быть. Вот прямо сейчас у меня ссылок на подтверждение обратного нет, как и на подтверждение вашей догадки, и мне лень их искать ради вас (поищите сами про исследование гугла о надежности дисков, и про исследование Backblaze о надежности десктопных дисков, там в оригинале (на инглише) очень обстоятельные статьи). Но зато у меня есть 20 летний опыт, и вот что он мне говорит:

1. Десктопные диски в состоянии покоя всегда проводят offline сканирование поверхности в простое. Раз в несколько часов-дней (!). Даже не недель. У серверных, эта фича бывает отключена по-дефолту. Смотрите документацию по smartctl, там всё расписано.

2. Тенденцию портиться В ТОМ ЧИСЛЕ имеют данные, к которым очень долго не было никакого доступа совсем. Особенно, когда магнитная поверхность начинает деградировать. Может повезти, и дефекты начнут появляться на той области где вы в основном пишете-читаете. А могут и в другом месте. И появление проблем со считыванием редко-читаемых областей - это мина замедленного действия, которая проявится когда вы будете восстанавливать массив после выхода из строя другого диска.

Так что риск деградации при полном вычитывании диска раз в неделю, куда ниже чем риск потери данных из-за невозможности восстановления массива.

Важный момент тут также в том, что у ВСЕХ современных HDD дисков присутствует высокая вероятность 1 неисправимой ошибки чтения\записи в среднем на 7Tb прочитанных\записанных данных. У WD, например, такое поведение не считается даже дефектом приводящем к гарантии - по этой причине они, например, ранее отказывали в гарантии предприятию (из моей практики случай): дескать дефектный сектор выдаёт ошибку чтения только при отсутствии доступа к нему больше недели и больше 10Tb считанных данных (так и писали в заключении).

В статьях про которые я выше написал об этом говоритья, была ещё где-то в википедии ссылочка на этот тезис в статье об исследовании надёжности raid'ов при расчёте вероятностей сбоя восстановления.

У меня и у самого были случаи в домашней практике, когда портились случайные данные на дисках в простое, и сектор не помечался как сбойный и не выполнялся его ремап (т.к это присходит только при невозможности его записи). Диски были как десктопные, так и для NAS'ов.

Так что периодическая проверка массивов ОБЯЗАТЕЛЬНА. Хардварные рейды тут плохи тем, что они как правило этого не умеют, либо если и делают то интервалы не настроить, для софтварного тут всё просто (echo check или repair > /sys/block/<md устройство>/md/sync_action, ну или zfs scrub)

5. когда говорят raid 5 обычно железный имеют в виду. Софтрейд, особенно zfs, - это другое.

Нет. Когда говорят raid 5 имеют ввиду технологию raid 5. Софт-рейд, фейк-рейд или хард-рейд - это всего-лишь реализации технологии. И обсуждаемая проблема надежности для всех реализаций этой технологии имеет место быть.

Соглашусь только, что реализация RAID у ZFS - немного по другому устроена, да, так что её не совсем корректно называть именно raid'ом. Скорее, правильнее будет назвать просто «избыточностью».

6. не всё можно забекапить, не всё имеет смысл бекапить.

Ну это всё индивидуально. Как и необходимость использования рейдов.

raspberry pi в хороший гигабитный свич за два косаря

А не могли бы подсказать, какой свитч используете? Интересна такая конфигурация на ПИ.

Ну, именно в описанной конфигурации, я использую вот этот ( http://www.cisco.com/c/en/us/support/switches/sg100d-05-5-port-gigabit-deskto... ), когда я его покупал он стоил около 2 тысяч. Сейчас бегло загуглил - в юлмарте есть следующая модель sg110d, должно подойти, наверное.

Из других протестированных мной «домашних» гигабитных свитчей, которые дают честный гигабит по крайней мере на 3 порта:

- вот такой: https://www.trendnet.com/products/proddetail?prod=510_TEG-S50G

- и такой: http://www.dlink.ru/ru/products/1/2196.html , у меня был DGS-1005D/I2A (у них бывают разные версии, и даже корпус).

По крайней мере при MTU 7000 (максимум, который можно установить на реалтековских сетевушках под linux'ом, которые у меня в домашних компах) - они выдавали стабильный гигабит. Я, к сожалению, не проверял на низком MTU, есть ненулевая вероятность, что у дешевых свитчей может быть бутылоченое горлышко также на количестве обрабатываемых пакетов в секунду, а при низком MTU, понятное дело пакетов будет больше обрабатываться. Если я сейчас ничего не путаю.

Ну и ещё такой момент, у RPI один езернет. Мне больше и не нужно, так как интернеты в моём устьзажопинске где я живу сейчас раздаются по другому, но если предполагается использовать RPI именно как роутер, может, конечно, возникнуть проблема - куда подключать аплинк, особенно если он быстрый.

Если интернеты не особо быстрые, можно подключить внешнюю сетевушку по USB - именно к RPI я не пробовал, плюс хз какая там будет надёжность. Помнится были у beaglebone были платы с 2-мя езернетами, но они там стоили вроде около 200 бачей.

Интересно было бы собрать роутер, а аплинк у меня, к сожалению, больше 100мбит.

аплинк у меня, к сожалению, больше 100мбит.

Везёт. В таком случае, RPI, конечно не очень хорошо подойдёт. Лучше тогда купить beaglebone x15 с двумя гигабитными езернетами, или может даже простой одноплатник на атоме ( или даже ещё помощнее на целероне под mini-itx ).

Коллекция ссылок (2017) на тему выбора/сборки роутера (arm платы, atom-ы и прочая)

Какую мини-арм платку лучше выбрать под роутер?

Железа под роутер совета тред

Выбора роутера тред

Спасибо