slow read / fast write. wtf?

Есть подозрение что оно пишет в кеш, но когда читает, то реально читает. Ну по крайней мере частично.

Тем более что ты пишешь нули и если там компрессия, то ну ты понял, даже маловато что-то

Добавил: disk -> disk вообще совсем плохо. :/ И для сравнения zero -> null.

Ну насколько мне известно ZFS - катастрофическии тормозная файловая система. Когда я себе ставил - так и было. Такая же скорость

Это старый интеловский чипсет

Ну вот, а том столько вкусняшек! Собирался себе NAS на ZFS строить. А тут такое... Может всё таки у меня руки кривые?

Но почему на солярисе? он на х86 всегда был гoвно говном. Логично бы было на фрибсде строить NAS.

FreeBSD — это запасной вариант. Мне для начала захотелось поиграться с «оригиналом». (Если не ошибаюсь, это всё ещё референсная имплементация.)

Да и от солярки таким матёрым энтерпрайзом пахнет. Не всё же на пионерских линуксах сидеть, надо ведь и дальше развиваться. :D

типичное решение всех линуксопроблем. Виновато железо!

Это NAS файловая система. Ее торможение - фича. Главное сохранность, компрессия и тд

Еще ходили легенды что можно разметить диски как-то не с того кластера и всякие WD начинают адово тормозить

Дадада, сохнанность, комрессия, дедуплекация, снапшоты, локальные бекапы... именно всё это и хотеть.

Но... это планируется, как замена самбовской файлопомойки на 20T. И оно должно быть быстрым, как минимум на чтение.

Хотел собирать гибрид из HDD и SSD (как l2arc). А тут с чистым SSD уже такое непонятное. :/

разметить диски как-то не с того кластера

Выравнивание по секторам? Это имхо не только wd идёт на помощь.

Проверял dd:

Сейчас проверил свой raidz,
dd if=/zstorage/file.img of=/dev/null
скопировано 21474836480 байт (21 GB), 308,379 c, 69,6 MB/c

Но это фигня какая-то, ибо по гигабитной сетке, с того же пула, сливается со скоростью 100 MB/c.

OpenIndiana is a robust enterprise operating system,

о. а мужики то и не знают.

Про тормознутость ZFS это какие-то древние мифы. Ну и выкини солярку, ZFS на линухе уже давно стабилен как танк и достаточно быстр:

# dd if=/dev/zero of=/zfs/test.bin bs=16M count=1024
1024+0 records in
1024+0 records out
17179869184 bytes (17 GB) copied, 131.979 s, 130 MB/s

# dd of=/dev/null if=/zfs/test.bin bs=16M
1024+0 records in
1024+0 records out
17179869184 bytes (17 GB) copied, 130.269 s, 132 MB/s

Юзаю его дома на сервачке-хранилке уже года 3 - ни единого разрыва :)

fuse? Нет, спасибо, не надо. Поставлю может быть ещё Free на туже железку, посмотрю, как оно там будет.

Но хочется всё таки разобраться. Метаться от одной OS к другой — это не мой стиль.

И о чём этот тест?

dd if=/dev/zero of=/zstorage/test.bin bs=16M count=1024
1024+0 записей получено
1024+0 записей отправлено
скопировано 17179869184 байта (17 GB), 9,16867 c, 1,9 GB/c

dd of=/dev/null if=/zstorage/test.bin bs=16M
1024+0 записей получено
1024+0 записей отправлено
скопировано 17179869184 байта (17 GB), 3,99247 c, 4,3 GB/c

fuse? Нет, спасибо, не надо.

Не fuse, а модуль ядра - zfsonlinux.org

Самый что ни на есть ядерный, фьюз давно не нужен.

О пчёлах, вестимо.

О пчёлах, вестимо.

Понятно, а я грешным делом подумал, что о производительности процессора.

fuse?

Присоединяюсь к ораторам выше - вылезай из криокамеры. Я уже 2 года пользую, а до этого оно еще где-то год точно было более-менее пригодным для тестов.

По ссылке:

The native Linux kernel port of the ZFS filesystem.

Срачь отменяется, это я дурак (посыпаю голову пеплом) — забыл при тесте с диска в ноль указать blocksize. Grrr...

zero → disk: 1048576000 bytes (1.0 GB) copied, 7.06547 s, 148 MB/s
disk → null: 1048576000 bytes (1.0 GB) copied, 0.700701 s, 1.5 GB/s
disk → disk: 1048576000 bytes (1.0 GB) copied, 12.6238 s, 83.1 MB/s

а попробуй ещё urandom в качестве источника, вместо zero

rnd → disk: 104857600 bytes (105 MB) copied, 2.88083 s, 36.4 MB/s
rnd → null: 104857600 bytes (105 MB) copied, 2.81774 s, 37.2 MB/s

Сарказм не прошел гы-гы-гы

Шелдон Купер, перелогиньтесь

всё равно мало. выкладывай 'prtvtoc /dev/rdsk/cxt0d0p0' и 'zdb -C твой_пул | grep ashift'. хотя oi по-идее должно само распознать.

Ну насколько мне известно ZFS - катастрофическии тормозная файловая система. Когда я себе ставил - так и было. Такая же скорость

На линуксе?

На линуксе?

летает.

zdb | grep ashift

            ashift: 9

prtvtoc /dev/dsk/c4t0d0s0

* /dev/dsk/c4t0d0s0 partition map
*
* Dimensions:
*     512 bytes/sector
*     126 sectors/track
*     255 tracks/cylinder
*   32130 sectors/cylinder
*   60799 cylinders
*   60797 accessible cylinders
*
* Flags:
*   1: unmountable
*  10: read-only
*
* Unallocated space:
*       First     Sector    Last
*       Sector     Count    Sector 
*           0     32130     32129
*
*                          First     Sector    Last
* Partition  Tag  Flags    Sector     Count    Sector  Mount Directory
       0      2    00      32130 1953375480 1953407609
       2      5    01          0 1953407610 1953407609
       8      1    01          0     32130     32129

ashift: 9

Это, вроде как, не правильно для hdd c 4096 байт на сектор.
У меня вот так:

zdb | grep ashift
ashift: 12

Создавал массив так:

zpool create -o ashift=12 zstorage raidz /dev.../dev../

У меня SSD. С HDD ещё не пробовал. Специально не настраивал. Т.ч. значение с автомата.

ref: http://zfsonlinux.org/faq.html#HowDoesZFSonLinuxHandlesAdvacedFormatDrives

ashift: 9

вот. для ssd и 4к дисков должно быть 12. пропиши в sd.conf что твой диск 4к, раз он сам не распознаётся или, как уже отписали, при создании указывай.
таблица разделов тоже не выровнена, первый сектор 256 ставь.

попробуйте нормальный бенчмарк. бони, иозон.

это кстати rpool или отдельный?

Это я на родном (rpool) тестил, тот что при инсталяции создавался.

EvgGad_303, King_Carlo, можно ещё другой вопрос?

Я сходу (и после гугления) не разобрался, как поставить в систему сырцы. Где их можно найти, и как это сделать?

Поясню: мне надо пересобрать ntpd, иначе он спамит в консоль, что не может прибиндится к ipv6 интерфейсу.

ref: https://www.illumos.org/issues/4603

system/header нужен тебе, ну и gcc и ко разумеется. а вообще посмотри на omnios, мне больше чем oi втыкает. и это, датапул когда создавать будешь, отдай ему весь диск cxtxdx.

Спасибо, завтра гляну. (Сейчас уже дома.) Omnios тоже гляну.

Приглянулась мне солярка. Настораживает только, что у oi за 3 года практически ниодного релиза не было (если исключить a9).

то у oi за 3 года практически ниодного релиза не было

есть такое. потому и нравится omnios, что они её сами в проде используют и сами же и пилят. есть 3 ветки - lts, stable и bloody. в bloody пакеты обновляются почти каждую неделю, lts - это что-то типо Ъсолярки, хотя и на stable глобальных косяков не замечал.

Проверь на нормальной ФС свой SSD.

Я уже выше отписался, что это был my fault — забыл bs при тесте.

Это RAID-Z из 4 винтов 5400 оборотов, причем они перед тем как отдать их ZFSсу были зашифрованы через dm-crypt.

Держите наркомана четверо.

Вах Вах, как грубо. Там ценные данные, которые не должны попасть в руки врага.

а сколько оперативы-то имеется?

дедуплекация

не рекомендую

вот мои тесты (пул двойное зеркало, аналог raid - 10):

time ( for i in `seq 1 10`; do (dd if=/dev/zero of=$i.txt count=1000 bs=1M ; sync ) done )
1000+0 записей считано
1000+0 записей написано
 скопировано 1048576000 байт (1,0 GB), 1,70612 c, 615 MB/c
1000+0 записей считано
1000+0 записей написано
 скопировано 1048576000 байт (1,0 GB), 1,81162 c, 579 MB/c
1000+0 записей считано
1000+0 записей написано
 скопировано 1048576000 байт (1,0 GB), 1,83616 c, 571 MB/c
1000+0 записей считано
1000+0 записей написано
 скопировано 1048576000 байт (1,0 GB), 1,5839 c, 662 MB/c
1000+0 записей считано
1000+0 записей написано
 скопировано 1048576000 байт (1,0 GB), 1,87686 c, 559 MB/c
1000+0 записей считано
1000+0 записей написано
 скопировано 1048576000 байт (1,0 GB), 1,55712 c, 673 MB/c
1000+0 записей считано
1000+0 записей написано
 скопировано 1048576000 байт (1,0 GB), 1,61719 c, 648 MB/c
1000+0 записей считано
1000+0 записей написано
 скопировано 1048576000 байт (1,0 GB), 1,61135 c, 651 MB/c
1000+0 записей считано
1000+0 записей написано
 скопировано 1048576000 байт (1,0 GB), 1,62794 c, 644 MB/c
1000+0 записей считано
1000+0 записей написано
 скопировано 1048576000 байт (1,0 GB), 1,80258 c, 582 MB/c

real	0m38.739s
user	0m0.028s
sys	0m9.073s

даем нагрузочку:

dbench -D . 25
Throughput 152.624 MB/sec  25 clients  25 procs  max_latency=1285.325 ms

hdparm -tT

Timing cached reads:   9150 MB in  2.00 seconds = 4577.39 MB/sec
Timing buffered disk reads: 1922 MB in  3.00 seconds = 640.15 MB/sec

как поставить в систему сырцы

Я в солярке 0, у меня zfsonlinux.

а сколько оперативы-то имеется?

Тестовая машинка, там только 2 гига.

дедуплекация — не рекомендую

Почему?