В ZFS появилась поддержка исключения дубликатов

Уже обсудили и пришли к выводу, что оно не только не нужно, но и в ряде случаев вредно.

> потребуют 8 кабелей питания, 8 кабелей ethernet, 8 оптических кабелей для fiber channel корзины (SAS, как понимаете, в данной конфигурации не подойдёт)... если по минимуму, то вроде всё, и это только удалённое управление по ssh, никаких мониторов и клавиатур, если нужны + 8 толстых kvm кабелей

Это все с задней стороны стойки, туда лазится редко, и этоn минус с лихвой компенсируется повышенной надежностью, повышенной апгрейдабельностью и полной взаимонесвязанностю нодов. Если у вас, труЪынтырпрайзера, китайский блок питания в блейдраке выдаст 60 вольт вместо 12 из-за огрехов пьяного китайского сборщика, у вас выжжет весь зоопарк, клиенты выжгут мозги вашему руководству, а оно вычистит задний проход вам :-) У меня, быдлоЛинупсоида, выгорит в этом раскладе одна нода. Раскидаю нагрузку по семи оставшимся и сяду дальше читать ЛОР.

не знаю с кем и что вы там обсуждали, но в ряже случаев оно нужно, а в другом ряде неочень.

gigabito> в качестве примеров например приводятся виртуальные машины, которые отличаются айпишником и парой рабочих файлов. или таблицы БД в которых много записей, отличающихся на пару байт в одном поле.

В случае виртуальных машин с ZFS накрывается всё медным тазом.

>>В случае виртуальных машин с ZFS накрывается всё медным тазом.
а можно по-подробней?

> только ленточный робот потребляет энергии в разы меньше

Робот??? Не смешите людей. Кассеты для робота стоят в полтора раза дороже, а $2.5k это стоимость не робота, а одного-единственного лентопротяга.

EvgGad_303> а можно по-подробней?

Имеем кучу виртуальных машин - резервируем для них место в виде образа диска. Изначально виртуальные машины ничем не отличаются (пусть получены они клонированием).

Но в процессе работы содержимое каждого диска изменяется. Если оно изенится сильно, то:

1. Тормоза жуткие из-за дописывания данных на винчестер. 2. Disk out of space физически

Итого для ФС с дедупликацией необходимо вводить какой-то специальный параметр занятости, отражающий логическое свободное место, и физическое.

ну вы тоже упоминали мифические стораджи по 3к$
дак вот, маленькие роботы тоже бывают по 3к$, но вы упомянули 15тб, а это уж точно никак не 3к.

имеем солярис, раз мы говорим про зфс, почитайте про зоны, контейнеры и как это все интегрируется с зфс, и перестаньте нести ересь =)

>>1. Тормоза жуткие из-за дописывания данных на винчестер.
для этого существует кэш, только есть он не везде, ну а где его нет - там эта возможность и не нужна скорее всего.

Ты «забыл» стоимость магнитофона 2. 1.5TB SATA в розницу стоит $140. Ставим его в ремовэбл-контейнер, и голы профит.

ага, голый, такой голый :)

А теперь посчитаем _эффективную_ стоимость системы хранения например, на 15 терабайт: 10 ленточек по $282 + лентовод за $2500 => $0.35 за гигабайт. Уже не так круто, ибо у SATA-винта этот показатель $0.14

а Вы смелый человек... Вы вот так просто будете хранить данные на дисках, на одном фотки, на другом мувики, да?

и еще на засыпку вопрос - вы учли только голую стоимость дисков на 15тб. а куда их ставить, а избыточность?
мы точно про бизнес использование говорим, а не о домашней порно-коллекции?

Если у вас, труЪынтырпрайзера, китайский блок питания в блейдраке выдаст 60 вольт вместо 12 из-за огрехов пьяного китайского сборщика,

вот, яркий пример человека который ничего не видел, но всё знает :)

1) это случается редко

2) у блока питания есть защита от таких штук

3) у меня выгорали блоки питания, было 1 или 2 раза... и что? и ничего.. второй работает, сгоревший вынимаем, ставим из зипа другой и всё работает.. и даже выключать не надо :)

Это все с задней стороны стойки, туда лазится редко

ну-ну... одного раза хватит, поверьте мне :)

и да, чтобы Вы знали, такая техника обычно тестируется гораздо тщательнее обычных персоналок... и на тех же ibm'ах я ни разу не видел погоревшее питалово... так что не ляля

только ленточный робот потребляет энергии в разы меньше

Робот??? Не смешите людей. Кассеты для робота стоят в полтора раза дороже, а $2.5k это стоимость не робота, а одного-единственного лентопротяга.

Вы точно поняли фразу на которую отвечали?

Думаю народ одумается, и в случае совпадения хэша, будет произведено побайтовое сравнение блока.

дак уже несколько раз объяснили про verify, если нужна параноидальная уверенность и есть неуверенность насчет характера хранимой информации, то включите эту опцию - будет потеря производительности, но будете спать спокойно.

я тоже начинаю подозревать что что-то не так =)
и раз уж о лентопротяге упонянули (кажется так он по-русски называется), то именно этим девайсом и можно было прочитать кассету, в том самом "банке" ;)

> это случается редко

Это случается

> у блока питания есть защита от таких штук

Ты точно уверен, что внутри блока питания никогда ничего не отвалится, и по шине по которой подается какие-нибудь 5 вольт не пойдет 127? Я в этом абсолютно не уверен, поскольку видел и еще не такие "приколы".

> и на тех же ibm'ах я ни разу не видел погоревшее питалово

А я видел погоревшие блоки питания на всех железках - HP, Dell, Sun, IBM.

> одного раза хватит, поверьте мне :)

Какие пугливые оказываются тут труЪ... Сегодня с утра слазил в стойку, нашпигованную одноюнитовыми железками. Это даже проще, чем написать шелловский скрипт. Честно.

> у меня выгорали блоки питания, было 1 или 2 раза

Предохранитель сгорел из-за того, что первичная обмотка коротнула? Так это не "выгорел". А если его сглючило так, что он по 24 вольта на всех выходящие провода выдал? :-)

> такая техника обычно тестируется гораздо тщательнее обычных персоналок.

... и собирается гораздо более тщательными гораздо более китайскими гораздо более рабочими в гораздо более китайском городе на гораздо более китайском брендовом заводе :-)

> только ленточный робот

"Ленточный робот" пригоден для резервного копирования данных, которые в обозримом будущем при нормальном развитии ситуации не нужны, но бегать с кассетами, на которых они записаны, не хочется. Система хранения данных это немного другое.

> Вы вот так просто будете хранить данные на дисках, на одном фотки, на другом мувики, да?

Не намного менее надежно, чем хранить данные на кассете, а уж с учетом возможности "прямо сейчас" с ними поработать при необходимости, так вообще одни преимущества. И никто не собирается хранить данные на винтах в единственном экземпляре - как никто не хранит на единственной кассете.

>>А я видел погоревшие блоки питания на всех железках - HP, Dell, Sun, IBM.
а я не видел, именно так, как вы тут описываете. и даже если такое произойдет - есть такая штука, как pdb. ну и дополнительные стабилизаторы напряжения на системной плате.

во первых определиться бы не мешало, о чем разговор, почитать о чем оппоненты пишут, а не выдирать фразы.
ну, а зачем с лентами бегать я даже спрашивать боюсь уже.

> ... и собирается гораздо более тщательными гораздо более китайскими гораздо более рабочими в гораздо более китайском городе на гораздо более китайском брендовом заводе :-)

это точно :-)

аргументы "в блейдах меньше кабелей" -- это ммм... наверно болезнь такая, типа дислексии?

ну и плотность тоже не очень нужна -- предположив стоимость квадратного метра аж 25$ в месяц, на 1 юнит имеем 0.5$ в месяц, сомневаюсь, что блейды это окупят.

> аргументы "в блейдах меньше кабелей" -- это ммм... наверно болезнь такая, типа дислексии?

Преимущества блейдов ещё и в том, что они банально дешевле (считали в прошлом году - к сожалению счастья не обломилось). Их единственная, но самая главная проблема в том, что крейт для блейдов стоит _дорого_. То есть размазать выделение денег на n компьтеров (где, например, n>20) тонким слоем во времени не получится.

s/n>20/n>40/

у блока питания есть защита от таких штук

Ты точно уверен, что внутри блока питания никогда ничего не отвалится, и по шине по которой подается какие-нибудь 5 вольт не пойдет 127? Я в этом абсолютно не уверен, поскольку видел и еще не такие «приколы».

уверены на 100% в чём либо только дураки... за себя скажу так: наблюдал парк из >50 серваков в разных конфигурациях и от разных производителей в разных условиях (географически распределены) в течении >5 лет и ни разу не видел ничего подобного... серваки работали 24/7...

и да, ни на одной конференции на которой я был такой вопрос ни у кого не поднимался, несмотря на то что вопросы к вендорам были порой весьма жёсткие

и на тех же ibm'ах я ни разу не видел погоревшее питалово

А я видел погоревшие блоки питания на всех железках - HP, Dell, Sun, IBM.

и?

А если его сглючило так, что он по 24 вольта на всех выходящие провода выдал? :-)

я такого не видел ни разу, а Вы?

такая техника обычно тестируется гораздо тщательнее обычных персоналок.

... и собирается гораздо более тщательными гораздо более китайскими гораздо более рабочими в гораздо более китайском городе на гораздо более китайском брендовом заводе :-)

по делу есть что сказать, мож пруфлинк какой есть, а газпром тут развели с китайскими миксинами

Вы вот так просто будете хранить данные на дисках, на одном фотки, на другом мувики, да?

Не намного менее надежно, чем хранить данные на кассете

бггг... опять двойка, профессор :)

hdd гораздо (!!!) более чувствителен ко всяким физическим воздействиям, кроме того у него есть электроника, которая тоже порой накрывается, и, внимание (!), двигатель с вращающимся шпинделем и перемещающиеся головки...

кардтридж с лентой по устройству же не сильно отличается от простой видеокассеты (с поправкой на относительную антивандальность) и гораздо (!) более устойчив, потому, ко всяким воздействиям...

или не согласны?

И никто не собирается хранить данные на винтах в единственном экземпляре - как никто не хранит на единственной кассете.

т.е. вы будете эмулировать raid1 ручками, я правильно понял? записывать сразу на 2 hdd? ммм... а Вы загадочный :)

аргументы «в блейдах меньше кабелей» — это ммм... наверно болезнь такая, типа дислексии?

бггг... Вы хоть раз осуществляли монтаж серверного шкафа на 42U забитого доверху серваками и корзинками? думаю что нет, иначе вопросов бы не было :)

ну и плотность тоже не очень нужна — предположив стоимость квадратного метра аж 25$ в месяц,

да Вы батенька оптимист... серверная это не то что стоит у кого то под столом или в соседней комнате.. это помещение с охраной, определённым ТВР (тепло-влажностный режим), и отсутствием пыли... знаете сколько миллионов долларов стоит помещение, к примеру, у газпрома того же, или где-нить на биржах... так понятнее?

и да, вот Вам небольшой примерчик.

> > А если его сглючило так, что он по 24 вольта на всех выходящие провода выдал? :-)

> я такого не видел ни разу, а Вы?

Я видел как выдало порядка 60 вольт на корпус. Видел как напрочь выжигало оборудование рядом свистнувшей молнией. Причем выгорают в таких раскладах как раз внешние компоненты - блоки питания, сетевые, видяшки. Догадаетесь, чем такие вещи заканчиваются, или и так понятно? Кто у вас в блейдовой сборке служит оконечником?

> наблюдал парк из >50 серваков в разных конфигурациях и от разных производителей

У меня в одном машзале было за четыре десятка серверов и активного сетевого оборудования, да и теперь в зоне досягаемости ненамного меньше. Горит все. И чем более "крутая" и "безотказная" по уверению производителя железка, тем больше у нее простой, когда она отказывает - причем, не "если" отказывает, а именно "когда" отказывает. Первое делят каталист шеститысяной серии - две недели непредсказуемых глюков, с финальным выносом гроба, и спаркой с ленточной библиотекой три недели простой - и потеря базы на сервере, а также бэкапов из-за глюка в роботе-библиотеке, с потерей данных за три месяца у компании с 60 тысячами сотрудников.

Именно поэтому я согласен с гуглем - большая система должна строиться из максимально простых кубиков, связанных друг с другом ровно в той мере, в какой это необходимо. И для любого из кубиков должна быть возможность исключить его из мозаики и заменить на что-то имеющееся под рукой в течение двух часов. Даже ночью во время ядерной войны.

> знаете сколько миллионов долларов стоит помещение

Я знаю сколько в них процентов откатов, и сколько попилено "посредниками" и "генеральными подрядчиками".

> это помещение с охраной, определённым ТВР (тепло-влажностный режим), и отсутствием пыли...

1. Охраняется здание а не серверная
2. Тепловой и влажностный режим это даже не смешно, на фоне стоимости оборудования - копейки. Знакомый владелец фирмы, которая занимается промышленным оборудованием для СКК. Точнее, это не копейки, но весьма незначительная доля
3. "Отсутствие пыли" при наличи расчитаной циркуляции воздуха и правильной политики контроля доступа достигается автоматически

Я видел как выдало порядка 60 вольт на корпус. Видел как напрочь выжигало оборудование рядом свистнувшей молнией.

да, да, да... и восстали машины из пепла ядерной войны и пошли войной на человечество... :)

этот как же надо спроектировать здание/центр если рядом «свистит» молния? вообще-то везде ставят громоотводы и заземления, или нет?

Я видел как выдало порядка 60 вольт на корпус

В причинах разобрались? С чего так получилось?

И чем более «крутая» и «безотказная» по уверению производителя железка

Странные у Вас вендоры (как вариант дистрибьюторы). С теми с которыми я работал диалог был следующий: да, сломаться может всё, да иногда ломается, хотите чтоб надёжно было - резервируйте... и т.д.

И перечень мер всегда выбирался из расчёта достижения характеристик с учётом бюджета. И либо требования снижались, либо бюджет подростал. Всё просто.

Первое делят каталист шеститысяной серии - две недели непредсказуемых глюков, с финальным выносом гроба, и спаркой с ленточной библиотекой три недели простой - и потеря базы на сервере, а также бэкапов из-за глюка в роботе-библиотеке, с потерей данных за три месяца у компании с 60 тысячами сотрудников.

а тут что было?

Именно поэтому я согласен с гуглем - большая система должна строиться из максимально простых кубиков, связанных друг с другом ровно в той мере, в какой это необходимо.

это создаёт лишь иллюзию управляемости системы... на самом деле как только количество компонентов в системе зашкаливает за определённый порог человек теряет возможность нормально управлять системой, но остаётся чувство дескать я всё отрулить смогу, чувство ложное...

вот нифига не сможете, когда критический сбой произойдёт вся будут носиться как ошпаренные волки и друг другу мешать :)

единственный плюс: да, можно нанять админов подешевше :)

И для любого из кубиков должна быть возможность исключить его из мозаики и заменить на что-то имеющееся под рукой в течение двух часов. Даже ночью во время ядерной войны.

и снова восстали машины из пепла ядерной войны... :)

знаете сколько миллионов долларов стоит помещение

Я знаю сколько в них процентов откатов, и сколько попилено «посредниками» и «генеральными подрядчиками».

пруфлинк в студию

1. Охраняется здание а не серверная

у Вас может быть... но должны охраняться и здание и серверная

2. Тепловой и влажностный режим это даже не смешно, на фоне стоимости оборудования - копейки. Знакомый владелец фирмы, которая занимается промышленным оборудованием для СКК. Точнее, это не копейки, но весьма незначительная доля

Смотря какое оборудование... если надо поддерживать достаточно стабильную температуру в помещении - не так всё просто... и потом, воздушный поток может снять только определённое, не такое уж большое количество, киловатт рассеиваемой мощности, а дальше идут жидкостные системы охлаждения совсем за другие деньги :)

но в общем тут Вы правы, хотя и не копейки это, даже в сравнении

3. «Отсутствие пыли» при наличи расчитаной циркуляции воздуха и правильной политики контроля доступа достигается автоматически

неправда Ваша... пыль спокойно может лететь с потолка в трещинах и прочее... к тому же расчёт системы циркуляции воздуха тоже удовольствие не бесплатное... и да, по результатам такого расчёт может потребоваться реконструкция

> вообще-то везде ставят громоотводы и заземления, или нет?

Ну представь себе например... Нууу... Большую крупный узел трубопроводного транспорта - трубы, резервуары, заземление... Ну и громоотводы. И таблички на них - "Если ты читаешь эту табличку во время грозы, похороны за твой счет"? :-)

> а тут что было

Не интересовался деталями. Я уже отбрехался от спарков к тому времени, поэтому покрутил пальцем у виска, когда они озвучили цифру "освоенных средств", и сказал "ну я же вам говорил!" когда случился пипец тамошние одмины рвали волосы на головах. В детали не вдавался, но контекст примерно таков - в софте управлявшем библиотекой был глючокс...

> когда критический сбой произойдёт вся будут носиться как ошпаренные волки и друг другу мешать

А ты в курсе, что в приличных местах есть регламент восстановления после всяких сбоев? "Если случилось событие С, сотрудник А делает то-то и вот это, сообщает тому-то и вот тому-то, затем делается вот так и вот таки, или так и эдак".

> хотите чтоб надёжно было - резервируйте...

А не жирно - блэйд рэк резервировать? Или там SunFire какой-нибудь восьмисокетный? Или ленточную библиотеку?

Ну представь себе например... Нууу... Большую крупный узел трубопроводного транспорта - трубы, резервуары, заземление... Ну и громоотводы. И таблички на них - «Если ты читаешь эту табличку во время грозы, похороны за твой счет»? :-)

:LOL: и что где-то там в эпсилон-окрестности было оборудование?

контекст примерно таков - в софте управлявшем библиотекой был глючокс...

ну эт везде может случиться :)

А ты в курсе, что в приличных местах есть регламент восстановления после всяких сбоев?

конечно в курсе... только Вы, надеюсь, тоже в курсе что рано или поздно случается то, что регламентом не описано? :)

А не жирно - блэйд рэк резервировать?

ну blade работает обычно там где фермы нужны, типа обслуживания запросов и т.д. и в таких областях нафиг резервирование не нужно... максимум перекинет коннект на другой сервак и всё, а то и порвёт

Или там SunFire какой-нибудь восьмисокетный? Или ленточную библиотеку?

а вот это уже зависит от ценности данных... иногда стоит, иногда - нет... в основном всё определяется соотношением бюджета который готов потратить заказчик к ценности потенциально потерянных (как вариант восстановления) данных... и дальше что перевесит необходимость, жадность или ещё что :)

представьте что сервер контролирует (отсылка управляющих команд, сохранение некоторого набора параметров в БД) некий девайс за 10 млрд. руб., потеря управления более чем на полдня - потеря девайса... и тут уже считают что кому важнее, но обычно свою попу подставлять никому не охота - резервируют :)

> Глупость, увековеченная в коде. Вероятность того, что у двух разных файлов каким-то чудом совпадёт хотя бы один сегмент астрономически мала.

Если кто-то не захочет сделать такие данные специально. А такое возможно с целью подрыва функциональности серверов или для вирусных атак.

> у Вас может быть... но должны охраняться и здание и серверная

Здание под охраной - имелось ввиду нормальная охрана, с видеокамерами в коридорах, шлюзованием входа-выхода, индивидуальными картами-пропусками с определнными разрешенными зонами, индивидуальные сигналы на пульте охраны с важных помещений и тому подобное, а не студенты и бабка-вохровка на входе :-)

> неправда Ваша... пыль спокойно может лететь с потолка в трещинах и прочее...

А какой идиот будет делать "пылящие" потолки (да и полы, впрочем) в серверной???? Или у вас потолки в серверных известью белят? :-)

> к тому же расчёт системы циркуляции воздуха тоже удовольствие не бесплатное...

Ну не стоит начинать одно и то же опять :-) Я прекрасно знаю, что расчет циркуляции процесс не самый простой и не самый дешевый. Но это никак не "миллионы". Даже не миллионы рублей.

> > Я знаю сколько в них процентов откатов, и сколько попилено "посредниками" и "генеральными подрядчиками".

> пруфлинк в студию

Ну я же не буду диктофон включать в разговорах с заказчиками и консультантами?! Но "генеральный подрядчик" как правило отхапывает себе в зависимости от жадности 20-40%, еще 10-15% уходят в откаты. С субподрядчиков, в свою очередь, генподрядчик тоже берет откаты (ну, точнее, их береут менеджерики). Там конечно сумма поменьше, но тоже хватает. Это "русский бизнес", блин. Во время расчета бизнес-плана, мне открытым текстом сказали - ты в ИТ, так что смирись - вы можете быть сколь угодно хороши, но не будет отката - не будет контракта.

Здание под охраной - имелось ввиду нормальная охрана

оке, такой вариант подходит :)

А какой идиот будет делать «пылящие» потолки (да и полы, впрочем) в серверной???? Или у вас потолки в серверных известью белят? :-)

есть ещё и не такие идиоты, особенно в регионах подальше, поверьте :)

Ну я же не буду диктофон включать

оке, покатит на пруфлинк :)

ну тут я сам выступал заказчиком, и я откатов не делал, так что есть ещё нормальные островки в море IT-беспредела :)

> и что где-то там в эпсилон-окрестности было оборудование?

Не в эпсиплон-, а в дельта- :-) Шш-бааах-шшш... И пипец, половина портов свича в вечном оффлайне. Ну или как вариант, когда молния влетает в вышку, на которой стоит всякое беспроводное барахло, тоже весело. Заходишь ты значит в серверную, а там непривычно тихо - кондицинеры откинулись, симметра в шоке лампочками мыргает в истерике, что с одного входа питания нет а с другого не ток, а ХЗ что, запах паленого пластика... И жестянщики суетятся.

А на улице запах грозы, свежесть, ветерок... Романтика!

> бггг... Вы хоть раз осуществляли монтаж серверного шкафа на 42U забитого доверху серваками и корзинками? думаю что нет, иначе вопросов бы не было

Лично я монтаж не осуществлял, но на ММТС-9 бывал не раз и для меня вытаскивали одноюнитовый корпус из таких вот шкафов (а там кажется было все же 50U) и ставили обратно.

Так что ничего страшного в этих проводах не вижу. Приличненько так уложены по стоечками.

И еще не вижу принципиальной разницы: 100 проводов питания + 200 проводов сети или просто 200 проводов сети (для блейдов).

>> И никто не собирается хранить данные на винтах в единственном экземпляре - как никто не хранит на единственной кассете.

> т.е. вы будете эмулировать raid1 ручками, я правильно понял? записывать сразу на 2 hdd? ммм... а Вы загадочный :)

странное у вас понимание... а софтовый рейд создать религия не позволяет?

ну когда ручками соберёте хотя бы одну стойку - поймёте...

Приличненько так уложены по стоечками.

вот этого весьма сложно добиться :)

странное у вас понимание... а софтовый рейд создать религия не позволяет?

на 10 usb дисках??? вы хоть представляете какой это мегакостыль будет???

> бггг... Вы хоть раз осуществляли монтаж серверного шкафа на 42U забитого доверху серваками и корзинками? думаю что нет, иначе вопросов бы не было :)

Я конечно понимаю, что мой совет IT-шнику, болеющему проводобоязнью, может показаться жестоким, но все-таки: налейте в стакан коравалольчику и поищите в интернете фотки суперкомпьютеров. Вот уж где проводов так проводов!

> на 10 usb дисках??? вы хоть представляете какой это мегакостыль будет???

если для домашнего использования, то всего 2 диска (вполне нормально), если для промышленного -- то не на юсб.

и где костыль?

если для домашнего использования, то всего 2 диска (вполне нормально), если для промышленного — то не на юсб.

и где костыль?

почему всего 2... мы тут разговариваем, на секундочку, ни больше ни меньше чем о 10 1,6Тб дисках... и причём тут то что Вы сказали?

Я конечно понимаю, что мой совет IT-шнику, болеющему проводобоязнью, может показаться жестоким, но все-таки: налейте в стакан коравалольчику и поищите в интернете фотки суперкомпьютеров. Вот уж где проводов так проводов!

бггг... перечитайте тред... смысл не в наличии или отсутствии проводов, а в минимизации их количества это раз, и два - в исключении проводов при операциях с серверами (вытаскивание из стойки и т.п.), так яснее?

> почему всего 2... мы тут разговариваем, на секундочку, ни больше ни меньше чем о 10 1,6Тб дисках... и причём тут то что Вы сказали?

и кто первый предложил 10 дисков подключить по юсб?