Linux.org.ru
Новости - Галерея - Форум - Трекер - Wiki - Поиск
  • [RSS]
[#]  
iZEN (фотография)

В ZFS появилась поддержка исключения дубликатов

Jeff Bonwick, разработчик интересной во всех смыслах файловой системы нового поколения ZFS, в своём блоге сообщил о реализации следующего новшества — системы автоматического распознавания и объединения дубликатов!

Технология работает на уровне блоков данных, что, по оценке разработчиков Sun, является более универсальным и менее ресурсоемким решением, по сравнению с вычислением дубликатов на уровне файлов или произвольных наборов байтов. Как известно, для каждого блока данных в ZFS вычисляется контрольная сумма по алгоритму SHA256. Если данная контрольная сумма уже присутствует в хэше, то запись такого же блока данных, который уже есть в хранилище, не производится, а создаётся ссылка на уже имеющийся блок данных. То есть, если в нескольких файлах присутствуют одинаковые блоки данных, то они будут сохранены на физический носитель только один раз.

>>> Подробности.

Метки: opensource, zfs

iZEN ***# (03.11.2009 18:50:09)
Проверено: maxcom (04.11.2009 10:02:26)
(Linux General)
(GNOME)

сообщения отсортированы в порядке возрастания даты их написания
[страница ← 1 2 3 4 5 6 7 →]
[#]  
Quasar (фотография)

В ZFS появилась поддержка исключения дубликатов

Уже обсудили и пришли к выводу, что оно не только не нужно, но и в ряде случаев вредно.

Quasar ** (05.11.2009 11:58:13)
[#] Ответ на: Re: В ZFS появилась поддержка исключения дубликатов от shty 05.11.2009 10:50:08  
no-dashi (фотография)

В ZFS появилась поддержка исключения дубликатов

> потребуют 8 кабелей питания, 8 кабелей ethernet, 8 оптических кабелей для fiber channel корзины (SAS, как понимаете, в данной конфигурации не подойдёт)... если по минимуму, то вроде всё, и это только удалённое управление по ssh, никаких мониторов и клавиатур, если нужны + 8 толстых kvm кабелей

Это все с задней стороны стойки, туда лазится редко, и этоn минус с лихвой компенсируется повышенной надежностью, повышенной апгрейдабельностью и полной взаимонесвязанностю нодов. Если у вас, труЪынтырпрайзера, китайский блок питания в блейдраке выдаст 60 вольт вместо 12 из-за огрехов пьяного китайского сборщика, у вас выжжет весь зоопарк, клиенты выжгут мозги вашему руководству, а оно вычистит задний проход вам :-) У меня, быдлоЛинупсоида, выгорит в этом раскладе одна нода. Раскидаю нагрузку по семи оставшимся и сяду дальше читать ЛОР.

no-dashi ***** (05.11.2009 12:00:00)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от Quasar 05.11.2009 11:58:13  
EvgGad_303 (фотография)

В ZFS появилась поддержка исключения дубликатов

не знаю с кем и что вы там обсуждали, но в ряже случаев оно нужно, а в другом ряде неочень.

EvgGad_303 * (05.11.2009 12:00:33)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от gigabito 04.11.2009 11:23:50  
Quasar (фотография)

Re: В ZFS появилась поддержка исключения дубликатов

gigabito> в качестве примеров например приводятся виртуальные машины, которые отличаются айпишником и парой рабочих файлов. или таблицы БД в которых много записей, отличающихся на пару байт в одном поле.

В случае виртуальных машин с ZFS накрывается всё медным тазом.

Quasar ** (05.11.2009 12:03:19)
[#] Ответ на: Re: В ZFS появилась поддержка исключения дубликатов от Quasar 05.11.2009 12:03:19  
EvgGad_303 (фотография)

В ZFS появилась поддержка исключения дубликатов

>>В случае виртуальных машин с ZFS накрывается всё медным тазом.
а можно по-подробней?

EvgGad_303 * (05.11.2009 12:04:45)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от EvgGad_303 05.11.2009 11:57:21  
no-dashi (фотография)

В ZFS появилась поддержка исключения дубликатов

> только ленточный робот потребляет энергии в разы меньше

Робот??? Не смешите людей. Кассеты для робота стоят в полтора раза дороже, а $2.5k это стоимость не робота, а одного-единственного лентопротяга.

no-dashi ***** (05.11.2009 12:09:00)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от EvgGad_303 05.11.2009 12:04:45  
Quasar (фотография)

В ZFS появилась поддержка исключения дубликатов

EvgGad_303> а можно по-подробней?

Имеем кучу виртуальных машин - резервируем для них место в виде образа диска. Изначально виртуальные машины ничем не отличаются (пусть получены они клонированием).

Но в процессе работы содержимое каждого диска изменяется. Если оно изенится сильно, то:

1. Тормоза жуткие из-за дописывания данных на винчестер. 2. Disk out of space физически

Итого для ФС с дедупликацией необходимо вводить какой-то специальный параметр занятости, отражающий логическое свободное место, и физическое.

Quasar ** (05.11.2009 12:16:06)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от no-dashi 05.11.2009 12:09:00  
EvgGad_303 (фотография)

В ZFS появилась поддержка исключения дубликатов

ну вы тоже упоминали мифические стораджи по 3к$
дак вот, маленькие роботы тоже бывают по 3к$, но вы упомянули 15тб, а это уж точно никак не 3к.

EvgGad_303 * (05.11.2009 12:18:05)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от Quasar 05.11.2009 12:16:06  
EvgGad_303 (фотография)

В ZFS появилась поддержка исключения дубликатов

имеем солярис, раз мы говорим про зфс, почитайте про зоны, контейнеры и как это все интегрируется с зфс, и перестаньте нести ересь =)

EvgGad_303 * (05.11.2009 12:20:36)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от Quasar 05.11.2009 12:16:06  
EvgGad_303 (фотография)

В ZFS появилась поддержка исключения дубликатов

>>1. Тормоза жуткие из-за дописывания данных на винчестер.
для этого существует кэш, только есть он не везде, ну а где его нет - там эта возможность и не нужна скорее всего.

EvgGad_303 * (05.11.2009 12:28:22)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от no-dashi 05.11.2009 11:49:27  
shty (фотография)

Re: В ZFS появилась поддержка исключения дубликатов

>Ты "забыл" стоимость магнитофона 2. 1.5TB SATA в розницу стоит $140. Ставим его в ремовэбл-контейнер, и голы профит.

ага, голый, такой голый :)

>А теперь посчитаем _эффективную_ стоимость системы хранения например, на 15 терабайт: 10 ленточек по $282 + лентовод за $2500 => $0.35 за гигабайт. Уже не так круто, ибо у SATA-винта этот показатель $0.14

а Вы смелый человек... Вы вот так просто будете хранить данные на дисках, на одном фотки, на другом мувики, да?

shty * (05.11.2009 13:17:24)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от no-dashi 05.11.2009 12:09:00  
EvgGad_303 (фотография)

В ZFS появилась поддержка исключения дубликатов

и еще на засыпку вопрос - вы учли только голую стоимость дисков на 15тб. а куда их ставить, а избыточность?
мы точно про бизнес использование говорим, а не о домашней порно-коллекции?

EvgGad_303 * (05.11.2009 13:23:05)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от no-dashi 05.11.2009 12:00:00  
shty (фотография)

В ZFS появилась поддержка исключения дубликатов

>Если у вас, труЪынтырпрайзера, китайский блок питания в блейдраке выдаст 60 вольт вместо 12 из-за огрехов пьяного китайского сборщика,

вот, яркий пример человека который ничего не видел, но всё знает :)

1) это случается редко

2) у блока питания есть защита от таких штук

3) у меня выгорали блоки питания, было 1 или 2 раза... и что? и ничего.. второй работает, сгоревший вынимаем, ставим из зипа другой и всё работает.. и даже выключать не надо :)

>Это все с задней стороны стойки, туда лазится редко

ну-ну... одного раза хватит, поверьте мне :)

и да, чтобы Вы знали, такая техника обычно тестируется гораздо тщательнее обычных персоналок... и на тех же ibm'ах я ни разу не видел погоревшее питалово... так что не ляля

shty * (05.11.2009 13:24:42)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от no-dashi 05.11.2009 12:09:00  
shty (фотография)

В ZFS появилась поддержка исключения дубликатов

Цитата

> только ленточный робот потребляет энергии в разы меньше

Робот??? Не смешите людей. Кассеты для робота стоят в полтора раза дороже, а $2.5k это стоимость не робота, а одного-единственного лентопротяга.

Вы точно поняли фразу на которую отвечали?

shty * (05.11.2009 13:26:18)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от exception13 03.11.2009 19:41:07  

В ZFS появилась поддержка исключения дубликатов

Думаю народ одумается, и в случае совпадения хэша, будет произведено побайтовое сравнение блока.

mDron * (05.11.2009 13:27:31)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от mDron 05.11.2009 13:27:31  
EvgGad_303 (фотография)

В ZFS появилась поддержка исключения дубликатов

дак уже несколько раз объяснили про verify, если нужна параноидальная уверенность и есть неуверенность насчет характера хранимой информации, то включите эту опцию - будет потеря производительности, но будете спать спокойно.

EvgGad_303 * (05.11.2009 13:30:18)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от shty 05.11.2009 13:26:18  
EvgGad_303 (фотография)

В ZFS появилась поддержка исключения дубликатов

я тоже начинаю подозревать что что-то не так =)
и раз уж о лентопротяге упонянули (кажется так он по-русски называется), то именно этим девайсом и можно было прочитать кассету, в том самом "банке" ;)

EvgGad_303 * (05.11.2009 13:42:22)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от shty 05.11.2009 13:24:42  
no-dashi (фотография)

В ZFS появилась поддержка исключения дубликатов

> это случается редко

Это случается

> у блока питания есть защита от таких штук

Ты точно уверен, что внутри блока питания никогда ничего не отвалится, и по шине по которой подается какие-нибудь 5 вольт не пойдет 127? Я в этом абсолютно не уверен, поскольку видел и еще не такие "приколы".

> и на тех же ibm'ах я ни разу не видел погоревшее питалово

А я видел погоревшие блоки питания на всех железках - HP, Dell, Sun, IBM.

> одного раза хватит, поверьте мне :)

Какие пугливые оказываются тут труЪ... Сегодня с утра слазил в стойку, нашпигованную одноюнитовыми железками. Это даже проще, чем написать шелловский скрипт. Честно.

> у меня выгорали блоки питания, было 1 или 2 раза

Предохранитель сгорел из-за того, что первичная обмотка коротнула? Так это не "выгорел". А если его сглючило так, что он по 24 вольта на всех выходящие провода выдал? :-)

> такая техника обычно тестируется гораздо тщательнее обычных персоналок.

... и собирается гораздо более тщательными гораздо более китайскими гораздо более рабочими в гораздо более китайском городе на гораздо более китайском брендовом заводе :-)

no-dashi ***** (05.11.2009 15:00:57)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от EvgGad_303 05.11.2009 11:57:21  
no-dashi (фотография)

В ZFS появилась поддержка исключения дубликатов

> только ленточный робот

"Ленточный робот" пригоден для резервного копирования данных, которые в обозримом будущем при нормальном развитии ситуации не нужны, но бегать с кассетами, на которых они записаны, не хочется. Система хранения данных это немного другое.

no-dashi ***** (05.11.2009 15:03:07)
[#] Ответ на: Re: В ZFS появилась поддержка исключения дубликатов от shty 05.11.2009 13:17:24  
no-dashi (фотография)

В ZFS появилась поддержка исключения дубликатов

> Вы вот так просто будете хранить данные на дисках, на одном фотки, на другом мувики, да?

Не намного менее надежно, чем хранить данные на кассете, а уж с учетом возможности "прямо сейчас" с ними поработать при необходимости, так вообще одни преимущества. И никто не собирается хранить данные на винтах в единственном экземпляре - как никто не хранит на единственной кассете.

no-dashi ***** (05.11.2009 15:16:30)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от no-dashi 05.11.2009 15:00:57  
EvgGad_303 (фотография)

В ZFS появилась поддержка исключения дубликатов

>>А я видел погоревшие блоки питания на всех железках - HP, Dell, Sun, IBM.
а я не видел, именно так, как вы тут описываете. и даже если такое произойдет - есть такая штука, как pdb. ну и дополнительные стабилизаторы напряжения на системной плате.

EvgGad_303 * (05.11.2009 15:20:22)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от no-dashi 05.11.2009 15:03:07  
EvgGad_303 (фотография)

В ZFS появилась поддержка исключения дубликатов

во первых определиться бы не мешало, о чем разговор, почитать о чем оппоненты пишут, а не выдирать фразы.
ну, а зачем с лентами бегать я даже спрашивать боюсь уже.

EvgGad_303 * (05.11.2009 15:25:06)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от no-dashi 05.11.2009 15:00:57  

В ZFS появилась поддержка исключения дубликатов

> ... и собирается гораздо более тщательными гораздо более китайскими гораздо более рабочими в гораздо более китайском городе на гораздо более китайском брендовом заводе :-)

это точно :-)

аргументы "в блейдах меньше кабелей" -- это ммм... наверно болезнь такая, типа дислексии?

ну и плотность тоже не очень нужна -- предположив стоимость квадратного метра аж 25$ в месяц, на 1 юнит имеем 0.5$ в месяц, сомневаюсь, что блейды это окупят.

www_linux_org_ru ** (05.11.2009 15:48:10)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от www_linux_org_ru 05.11.2009 15:48:10  
Evgueni (фотография)

В ZFS появилась поддержка исключения дубликатов

> аргументы "в блейдах меньше кабелей" -- это ммм... наверно болезнь такая, типа дислексии?

Преимущества блейдов ещё и в том, что они банально дешевле (считали в прошлом году - к сожалению счастья не обломилось). Их единственная, но самая главная проблема в том, что крейт для блейдов стоит _дорого_. То есть размазать выделение денег на n компьтеров (где, например, n>20) тонким слоем во времени не получится.

Evgueni ***** (05.11.2009 16:52:19)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от Evgueni 05.11.2009 16:52:19  
Evgueni (фотография)

В ZFS появилась поддержка исключения дубликатов

s/n>20/n>40/

Evgueni ***** (05.11.2009 16:58:22)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от no-dashi 05.11.2009 15:00:57  
shty (фотография)

В ZFS появилась поддержка исключения дубликатов

Цитата

> у блока питания есть защита от таких штук

Ты точно уверен, что внутри блока питания никогда ничего не отвалится, и по шине по которой подается какие-нибудь 5 вольт не пойдет 127? Я в этом абсолютно не уверен, поскольку видел и еще не такие "приколы".

уверены на 100% в чём либо только дураки... за себя скажу так: наблюдал парк из >50 серваков в разных конфигурациях и от разных производителей в разных условиях (географически распределены) в течении >5 лет и ни разу не видел ничего подобного... серваки работали 24/7...

и да, ни на одной конференции на которой я был такой вопрос ни у кого не поднимался, несмотря на то что вопросы к вендорам были порой весьма жёсткие

Цитата

> и на тех же ibm'ах я ни разу не видел погоревшее питалово

А я видел погоревшие блоки питания на всех железках - HP, Dell, Sun, IBM.

и?

Цитата

А если его сглючило так, что он по 24 вольта на всех выходящие провода выдал? :-)

я такого не видел ни разу, а Вы?

Цитата

> такая техника обычно тестируется гораздо тщательнее обычных персоналок.

... и собирается гораздо более тщательными гораздо более китайскими гораздо более рабочими в гораздо более китайском городе на гораздо более китайском брендовом заводе :-)

по делу есть что сказать, мож пруфлинк какой есть, а газпром тут развели с китайскими миксинами

shty * (05.11.2009 17:27:17)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от no-dashi 05.11.2009 15:16:30  
shty (фотография)

В ZFS появилась поддержка исключения дубликатов

Цитата

> Вы вот так просто будете хранить данные на дисках, на одном фотки, на другом мувики, да?

Не намного менее надежно, чем хранить данные на кассете

бггг... опять двойка, профессор :)

hdd гораздо (!!!) более чувствителен ко всяким физическим воздействиям, кроме того у него есть электроника, которая тоже порой накрывается, и, внимание (!), двигатель с вращающимся шпинделем и перемещающиеся головки...

кардтридж с лентой по устройству же не сильно отличается от простой видеокассеты (с поправкой на относительную антивандальность) и гораздо (!) более устойчив, потому, ко всяким воздействиям...

или не согласны?

>И никто не собирается хранить данные на винтах в единственном экземпляре - как никто не хранит на единственной кассете.

т.е. вы будете эмулировать raid1 ручками, я правильно понял? записывать сразу на 2 hdd? ммм... а Вы загадочный :)

shty * (05.11.2009 17:35:08)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от www_linux_org_ru 05.11.2009 15:48:10  
shty (фотография)

В ZFS появилась поддержка исключения дубликатов

>аргументы "в блейдах меньше кабелей" -- это ммм... наверно болезнь такая, типа дислексии?

бггг... Вы хоть раз осуществляли монтаж серверного шкафа на 42U забитого доверху серваками и корзинками? думаю что нет, иначе вопросов бы не было :)

>ну и плотность тоже не очень нужна -- предположив стоимость квадратного метра аж 25$ в месяц,

да Вы батенька оптимист... серверная это не то что стоит у кого то под столом или в соседней комнате.. это помещение с охраной, определённым ТВР (тепло-влажностный режим), и отсутствием пыли... знаете сколько миллионов долларов стоит помещение, к примеру, у газпрома того же, или где-нить на биржах... так понятнее?

shty * (05.11.2009 17:39:30)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от shty 05.11.2009 17:39:30  
shty (фотография)

В ZFS появилась поддержка исключения дубликатов

и да, вот Вам небольшой примерчик.

shty * (05.11.2009 18:02:37)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от shty 05.11.2009 17:27:17  
no-dashi (фотография)

В ZFS появилась поддержка исключения дубликатов

> > А если его сглючило так, что он по 24 вольта на всех выходящие провода выдал? :-)

> я такого не видел ни разу, а Вы?

Я видел как выдало порядка 60 вольт на корпус. Видел как напрочь выжигало оборудование рядом свистнувшей молнией. Причем выгорают в таких раскладах как раз внешние компоненты - блоки питания, сетевые, видяшки. Догадаетесь, чем такие вещи заканчиваются, или и так понятно? Кто у вас в блейдовой сборке служит оконечником?

> наблюдал парк из >50 серваков в разных конфигурациях и от разных производителей

У меня в одном машзале было за четыре десятка серверов и активного сетевого оборудования, да и теперь в зоне досягаемости ненамного меньше. Горит все. И чем более "крутая" и "безотказная" по уверению производителя железка, тем больше у нее простой, когда она отказывает - причем, не "если" отказывает, а именно "когда" отказывает. Первое делят каталист шеститысяной серии - две недели непредсказуемых глюков, с финальным выносом гроба, и спаркой с ленточной библиотекой три недели простой - и потеря базы на сервере, а также бэкапов из-за глюка в роботе-библиотеке, с потерей данных за три месяца у компании с 60 тысячами сотрудников.

Именно поэтому я согласен с гуглем - большая система должна строиться из максимально простых кубиков, связанных друг с другом ровно в той мере, в какой это необходимо. И для любого из кубиков должна быть возможность исключить его из мозаики и заменить на что-то имеющееся под рукой в течение двух часов. Даже ночью во время ядерной войны.

no-dashi ***** (05.11.2009 18:16:19)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от shty 05.11.2009 17:39:30  
no-dashi (фотография)

В ZFS появилась поддержка исключения дубликатов

> знаете сколько миллионов долларов стоит помещение

Я знаю сколько в них процентов откатов, и сколько попилено "посредниками" и "генеральными подрядчиками".

no-dashi ***** (05.11.2009 18:26:03)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от shty 05.11.2009 17:39:30  
no-dashi (фотография)

В ZFS появилась поддержка исключения дубликатов

> это помещение с охраной, определённым ТВР (тепло-влажностный режим), и отсутствием пыли...

1. Охраняется здание а не серверная
2. Тепловой и влажностный режим это даже не смешно, на фоне стоимости оборудования - копейки. Знакомый владелец фирмы, которая занимается промышленным оборудованием для СКК. Точнее, это не копейки, но весьма незначительная доля
3. "Отсутствие пыли" при наличи расчитаной циркуляции воздуха и правильной политики контроля доступа достигается автоматически

no-dashi ***** (05.11.2009 18:36:14)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от no-dashi 05.11.2009 18:16:19  
shty (фотография)

В ZFS появилась поддержка исключения дубликатов

>Я видел как выдало порядка 60 вольт на корпус. Видел как напрочь выжигало оборудование рядом свистнувшей молнией.

да, да, да... и восстали машины из пепла ядерной войны и пошли войной на человечество... :)

этот как же надо спроектировать здание/центр если рядом "свистит" молния? вообще-то везде ставят громоотводы и заземления, или нет?

>Я видел как выдало порядка 60 вольт на корпус

В причинах разобрались? С чего так получилось?

>И чем более "крутая" и "безотказная" по уверению производителя железка

Странные у Вас вендоры (как вариант дистрибьюторы). С теми с которыми я работал диалог был следующий: да, сломаться может всё, да иногда ломается, хотите чтоб надёжно было - резервируйте... и т.д.

И перечень мер всегда выбирался из расчёта достижения характеристик с учётом бюджета. И либо требования снижались, либо бюджет подростал. Всё просто.

>Первое делят каталист шеститысяной серии - две недели непредсказуемых глюков, с финальным выносом гроба, и спаркой с ленточной библиотекой три недели простой - и потеря базы на сервере, а также бэкапов из-за глюка в роботе-библиотеке, с потерей данных за три месяца у компании с 60 тысячами сотрудников.

а тут что было?

>Именно поэтому я согласен с гуглем - большая система должна строиться из максимально простых кубиков, связанных друг с другом ровно в той мере, в какой это необходимо.

это создаёт лишь иллюзию управляемости системы... на самом деле как только количество компонентов в системе зашкаливает за определённый порог человек теряет возможность нормально управлять системой, но остаётся чувство дескать я всё отрулить смогу, чувство ложное...

вот нифига не сможете, когда критический сбой произойдёт вся будут носиться как ошпаренные волки и друг другу мешать :)

единственный плюс: да, можно нанять админов подешевше :)

>И для любого из кубиков должна быть возможность исключить его из мозаики и заменить на что-то имеющееся под рукой в течение двух часов. Даже ночью во время ядерной войны.

и снова восстали машины из пепла ядерной войны... :)

shty * (05.11.2009 19:03:19)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от no-dashi 05.11.2009 18:26:03  
shty (фотография)

В ZFS появилась поддержка исключения дубликатов

>> знаете сколько миллионов долларов стоит помещение

>Я знаю сколько в них процентов откатов, и сколько попилено "посредниками" и "генеральными подрядчиками".

пруфлинк в студию

shty * (05.11.2009 19:04:02)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от no-dashi 05.11.2009 18:36:14  
shty (фотография)

В ZFS появилась поддержка исключения дубликатов

>1. Охраняется здание а не серверная

у Вас может быть... но должны охраняться и здание и серверная

>2. Тепловой и влажностный режим это даже не смешно, на фоне стоимости оборудования - копейки. Знакомый владелец фирмы, которая занимается промышленным оборудованием для СКК. Точнее, это не копейки, но весьма незначительная доля

Смотря какое оборудование... если надо поддерживать достаточно стабильную температуру в помещении - не так всё просто... и потом, воздушный поток может снять только определённое, не такое уж большое количество, киловатт рассеиваемой мощности, а дальше идут жидкостные системы охлаждения совсем за другие деньги :)

но в общем тут Вы правы, хотя и не копейки это, даже в сравнении

>3. "Отсутствие пыли" при наличи расчитаной циркуляции воздуха и правильной политики контроля доступа достигается автоматически

неправда Ваша... пыль спокойно может лететь с потолка в трещинах и прочее... к тому же расчёт системы циркуляции воздуха тоже удовольствие не бесплатное... и да, по результатам такого расчёт может потребоваться реконструкция

shty * (05.11.2009 19:08:36)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от shty 05.11.2009 19:03:19  
no-dashi (фотография)

В ZFS появилась поддержка исключения дубликатов

> вообще-то везде ставят громоотводы и заземления, или нет?

Ну представь себе например... Нууу... Большую крупный узел трубопроводного транспорта - трубы, резервуары, заземление... Ну и громоотводы. И таблички на них - "Если ты читаешь эту табличку во время грозы, похороны за твой счет"? :-)

> а тут что было

Не интересовался деталями. Я уже отбрехался от спарков к тому времени, поэтому покрутил пальцем у виска, когда они озвучили цифру "освоенных средств", и сказал "ну я же вам говорил!" когда случился пипец тамошние одмины рвали волосы на головах. В детали не вдавался, но контекст примерно таков - в софте управлявшем библиотекой был глючокс...

> когда критический сбой произойдёт вся будут носиться как ошпаренные волки и друг другу мешать

А ты в курсе, что в приличных местах есть регламент восстановления после всяких сбоев? "Если случилось событие С, сотрудник А делает то-то и вот это, сообщает тому-то и вот тому-то, затем делается вот так и вот таки, или так и эдак".

> хотите чтоб надёжно было - резервируйте...

А не жирно - блэйд рэк резервировать? Или там SunFire какой-нибудь восьмисокетный? Или ленточную библиотеку?

no-dashi ***** (05.11.2009 19:44:46)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от no-dashi 05.11.2009 19:44:46  
shty (фотография)

В ZFS появилась поддержка исключения дубликатов

>Ну представь себе например... Нууу... Большую крупный узел трубопроводного транспорта - трубы, резервуары, заземление... Ну и громоотводы. И таблички на них - "Если ты читаешь эту табличку во время грозы, похороны за твой счет"? :-)

:LOL: и что где-то там в эпсилон-окрестности было оборудование?

>контекст примерно таков - в софте управлявшем библиотекой был глючокс...

ну эт везде может случиться :)

>А ты в курсе, что в приличных местах есть регламент восстановления после всяких сбоев?

конечно в курсе... только Вы, надеюсь, тоже в курсе что рано или поздно случается то, что регламентом не описано? :)

>А не жирно - блэйд рэк резервировать?

ну blade работает обычно там где фермы нужны, типа обслуживания запросов и т.д. и в таких областях нафиг резервирование не нужно... максимум перекинет коннект на другой сервак и всё, а то и порвёт

>Или там SunFire какой-нибудь восьмисокетный? Или ленточную библиотеку?

а вот это уже зависит от ценности данных... иногда стоит, иногда - нет... в основном всё определяется соотношением бюджета который готов потратить заказчик к ценности потенциально потерянных (как вариант восстановления) данных... и дальше что перевесит необходимость, жадность или ещё что :)

представьте что сервер контролирует (отсылка управляющих команд, сохранение некоторого набора параметров в БД) некий девайс за 10 млрд. руб., потеря управления более чем на полдня - потеря девайса... и тут уже считают что кому важнее, но обычно свою попу подставлять никому не охота - резервируют :)

shty * (05.11.2009 19:58:26)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от frost_ii 04.11.2009 11:56:19  

В ZFS появилась поддержка исключения дубликатов

> Глупость, увековеченная в коде. Вероятность того, что у двух разных файлов каким-то чудом совпадёт хотя бы один сегмент астрономически мала.

Если кто-то не захочет сделать такие данные специально. А такое возможно с целью подрыва функциональности серверов или для вирусных атак.

Nxx * (05.11.2009 20:03:04)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от shty 05.11.2009 19:08:36  
no-dashi (фотография)

В ZFS появилась поддержка исключения дубликатов

> у Вас может быть... но должны охраняться и здание и серверная

Здание под охраной - имелось ввиду нормальная охрана, с видеокамерами в коридорах, шлюзованием входа-выхода, индивидуальными картами-пропусками с определнными разрешенными зонами, индивидуальные сигналы на пульте охраны с важных помещений и тому подобное, а не студенты и бабка-вохровка на входе :-)

> неправда Ваша... пыль спокойно может лететь с потолка в трещинах и прочее...

А какой идиот будет делать "пылящие" потолки (да и полы, впрочем) в серверной???? Или у вас потолки в серверных известью белят? :-)

> к тому же расчёт системы циркуляции воздуха тоже удовольствие не бесплатное...

Ну не стоит начинать одно и то же опять :-) Я прекрасно знаю, что расчет циркуляции процесс не самый простой и не самый дешевый. Но это никак не "миллионы". Даже не миллионы рублей.

> > Я знаю сколько в них процентов откатов, и сколько попилено "посредниками" и "генеральными подрядчиками".

> пруфлинк в студию

Ну я же не буду диктофон включать в разговорах с заказчиками и консультантами?! Но "генеральный подрядчик" как правило отхапывает себе в зависимости от жадности 20-40%, еще 10-15% уходят в откаты. С субподрядчиков, в свою очередь, генподрядчик тоже берет откаты (ну, точнее, их береут менеджерики). Там конечно сумма поменьше, но тоже хватает. Это "русский бизнес", блин. Во время расчета бизнес-плана, мне открытым текстом сказали - ты в ИТ, так что смирись - вы можете быть сколь угодно хороши, но не будет отката - не будет контракта.

no-dashi ***** (05.11.2009 20:05:33)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от no-dashi 05.11.2009 20:05:33  
shty (фотография)

В ZFS появилась поддержка исключения дубликатов

>Здание под охраной - имелось ввиду нормальная охрана

оке, такой вариант подходит :)

>А какой идиот будет делать "пылящие" потолки (да и полы, впрочем) в серверной???? Или у вас потолки в серверных известью белят? :-)

есть ещё и не такие идиоты, особенно в регионах подальше, поверьте :)

>Ну я же не буду диктофон включать

оке, покатит на пруфлинк :)

ну тут я сам выступал заказчиком, и я откатов не делал, так что есть ещё нормальные островки в море IT-беспредела :)

shty * (05.11.2009 20:14:45)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от shty 05.11.2009 19:58:26  
no-dashi (фотография)

В ZFS появилась поддержка исключения дубликатов

> и что где-то там в эпсилон-окрестности было оборудование?

Не в эпсиплон-, а в дельта- :-) Шш-бааах-шшш... И пипец, половина портов свича в вечном оффлайне. Ну или как вариант, когда молния влетает в вышку, на которой стоит всякое беспроводное барахло, тоже весело. Заходишь ты значит в серверную, а там непривычно тихо - кондицинеры откинулись, симметра в шоке лампочками мыргает в истерике, что с одного входа питания нет а с другого не ток, а ХЗ что, запах паленого пластика... И жестянщики суетятся.

А на улице запах грозы, свежесть, ветерок... Романтика!

no-dashi ***** (05.11.2009 20:44:47)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от shty 05.11.2009 17:39:30  

В ZFS появилась поддержка исключения дубликатов

> бггг... Вы хоть раз осуществляли монтаж серверного шкафа на 42U забитого доверху серваками и корзинками? думаю что нет, иначе вопросов бы не было

Лично я монтаж не осуществлял, но на ММТС-9 бывал не раз и для меня вытаскивали одноюнитовый корпус из таких вот шкафов (а там кажется было все же 50U) и ставили обратно.

Так что ничего страшного в этих проводах не вижу. Приличненько так уложены по стоечками.

И еще не вижу принципиальной разницы: 100 проводов питания + 200 проводов сети или просто 200 проводов сети (для блейдов).

www_linux_org_ru ** (05.11.2009 21:11:50)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от shty 05.11.2009 17:35:08  

В ZFS появилась поддержка исключения дубликатов

>> И никто не собирается хранить данные на винтах в единственном экземпляре - как никто не хранит на единственной кассете.

> т.е. вы будете эмулировать raid1 ручками, я правильно понял? записывать сразу на 2 hdd? ммм... а Вы загадочный :)

странное у вас понимание... а софтовый рейд создать религия не позволяет?

www_linux_org_ru ** (05.11.2009 21:14:35)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от www_linux_org_ru 05.11.2009 21:11:50  
shty (фотография)

В ZFS появилась поддержка исключения дубликатов

ну когда ручками соберёте хотя бы одну стойку - поймёте...

> Приличненько так уложены по стоечками.

вот этого весьма сложно добиться :)

shty * (05.11.2009 21:18:25)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от www_linux_org_ru 05.11.2009 21:14:35  
shty (фотография)

В ZFS появилась поддержка исключения дубликатов

>странное у вас понимание... а софтовый рейд создать религия не позволяет?

на 10 usb дисках??? вы хоть представляете какой это мегакостыль будет???

shty * (05.11.2009 21:18:58)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от shty 05.11.2009 17:39:30  

В ZFS появилась поддержка исключения дубликатов

> бггг... Вы хоть раз осуществляли монтаж серверного шкафа на 42U забитого доверху серваками и корзинками? думаю что нет, иначе вопросов бы не было :)

Я конечно понимаю, что мой совет IT-шнику, болеющему проводобоязнью, может показаться жестоким, но все-таки: налейте в стакан коравалольчику и поищите в интернете фотки суперкомпьютеров. Вот уж где проводов так проводов!

www_linux_org_ru ** (05.11.2009 21:20:25)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от shty 05.11.2009 21:18:58  

В ZFS появилась поддержка исключения дубликатов

> на 10 usb дисках??? вы хоть представляете какой это мегакостыль будет???

если для домашнего использования, то всего 2 диска (вполне нормально), если для промышленного -- то не на юсб.

и где костыль?

www_linux_org_ru ** (05.11.2009 21:22:35)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от www_linux_org_ru 05.11.2009 21:22:35  
shty (фотография)

В ZFS появилась поддержка исключения дубликатов

Цитата

если для домашнего использования, то всего 2 диска (вполне нормально), если для промышленного -- то не на юсб.

и где костыль?

почему всего 2... мы тут разговариваем, на секундочку, ни больше ни меньше чем о 10 1,6Тб дисках... и причём тут то что Вы сказали?

shty * (05.11.2009 21:31:33)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от www_linux_org_ru 05.11.2009 21:20:25  
shty (фотография)

В ZFS появилась поддержка исключения дубликатов

>Я конечно понимаю, что мой совет IT-шнику, болеющему проводобоязнью, может показаться жестоким, но все-таки: налейте в стакан коравалольчику и поищите в интернете фотки суперкомпьютеров. Вот уж где проводов так проводов!

бггг... перечитайте тред... смысл не в наличии или отсутствии проводов, а в минимизации их количества это раз, и два - в исключении проводов при операциях с серверами (вытаскивание из стойки и т.п.), так яснее?

shty * (05.11.2009 21:33:20)
[#] Ответ на: В ZFS появилась поддержка исключения дубликатов от shty 05.11.2009 21:31:33  

В ZFS появилась поддержка исключения дубликатов

> почему всего 2... мы тут разговариваем, на секундочку, ни больше ни меньше чем о 10 1,6Тб дисках... и причём тут то что Вы сказали?

и кто первый предложил 10 дисков подключить по юсб?

www_linux_org_ru ** (05.11.2009 22:23:20)
[страница ← 1 2 3 4 5 6 7 →]
(Linux General)
Новости - OpenSource
(GNOME)

http://www.linux.org.ru/

Rambler's Top100 TopList