LINUX.ORG.RU

В ZFS появилась поддержка исключения дубликатов

 ,


0

0

Jeff Bonwick, разработчик интересной во всех смыслах файловой системы нового поколения ZFS, в своём блоге сообщил о реализации следующего новшества — системы автоматического распознавания и объединения дубликатов!

Технология работает на уровне блоков данных, что, по оценке разработчиков Sun, является более универсальным и менее ресурсоемким решением, по сравнению с вычислением дубликатов на уровне файлов или произвольных наборов байтов. Как известно, для каждого блока данных в ZFS вычисляется контрольная сумма по алгоритму SHA256. Если данная контрольная сумма уже присутствует в хэше, то запись такого же блока данных, который уже есть в хранилище, не производится, а создаётся ссылка на уже имеющийся блок данных. То есть, если в нескольких файлах присутствуют одинаковые блоки данных, то они будут сохранены на физический носитель только один раз.

>>> Подробности

★★★★★

Проверено: maxcom ()

В ZFS появилась поддержка исключения дубликатов

зет-эф-эс разве не закопали еще ?

kto_tama ★★★★★ ()

Re: В ZFS появилась поддержка исключения дубликатов

> Только диски имеют смысл.

10 лет и вы не найдете систему умеющую читать IDE. 25 лет и вы не найдете систему умеющую читать SATA. 50 лет и вы не найдете систему умеющую читать то, что придумают через пару лет.

eXOR ★★★★★ ()

Re: В ZFS появилась поддержка исключения дубликатов

4 хэша или один разницы ноль. Большее множество отображается в меньшее с коллизиями, либо не отображается. Разницы никакой будешь ты сравнивать

1+1+1 = 3 или 1+2 = 3.

eXOR ★★★★★ ()

В ZFS появилась поддержка исключения дубликатов

>>Я видел как выдало порядка 60 вольт на корпус. Видел как напрочь выжигало оборудование рядом свистнувшей молнией. Причем выгорают в таких раскладах как раз внешние компоненты - блоки питания, сетевые, видяшки.
Не верю! (с)
Вы лучше расскажите, где такое г№%"№ продается - на базаре, по евро за ведро? Только не надо рассказывать про брендовое железо...
Молния - хаха, вы совсем ничего не понимаете в устройстве датацентров. Заметьте - это уже не вопрос, это утверждение.

EvgGad_303 ★★★★★ ()

В ZFS появилась поддержка исключения дубликатов

>>Ну представь себе например... Нууу... Большую крупный узел трубопроводного транспорта - трубы, резервуары, заземление... Ну и громоотводы.
это вы про домашний сервер в подвале рассказываете?

EvgGad_303 ★★★★★ ()

В ZFS появилась поддержка исключения дубликатов

Фича мега-крута! я сам давно уже думал почему так никто не сделал. Наверно пришло время сказать: "прощай генту, здравствуй опенсолярис!"
Аргументы:
1. Уже несколько раз видел, когда в компаниях(даже сейчас работаю в такой) имеют девелоперские linux/unix сервера, где можно пособирать-позапускать-подебажить то, что написал. Соотвественно каждый юзер имеет свой хомяк, в котором зачекаучен проект(Ы) (а иногда и несколько его веток: типа транк, мейтененс, и какие-нибудь эксперементальные), соотвественно разница по большому счету между хомяками в файле .bashrc, .vimrc и нескольких строках кода в твоей версии кода. Кроме того когда заходит до сборки и деплоймента приложения (особенно в java где, есть ~/.m2, который у всех свой, и центральный мавен репозиторий может жить на том же сервере, а потом приложение собирается и все перекладывается в в target, а еще оно может деплоится на том же сервере - те же бинарники собсвенно). У нас так работает человек 50. Экономия будет в гигабайты. Разве что теперь размер свобного места на диске - величина, которая не значит ничего.
2. Насчет коллизий в хеше, это ж вам не мд5. А даже если говорить о полном сравнении блоков, то давайте сравним:
а)полное сравнение 2 блоков по сравнению с ЗАПИСЬЮ одного. в большинстве случаев 2 чтения - это быстрее чем одна запись.
б) я бы скаал, что не нужно сравнивать блоки полностью, сравнили начало - и достаточно, учитывая что коллизия и так явление достаточно редкое, но так чтобы при коллизии еще и входящий блок имел то же начало, это вообще (практически) невозможно. Т.е вычитать блоки прийдется полностью, а сравнить можно несколько точек в блоке. Даже если взять мд5, известный своими коллизиями, то попробуйте подобрать коллизию для мд5, так чтобы хотя бы первые 10 байт совпадало.
3. насчет целостности данных, что если полетел блок, имевший на себя 2 ссылки, то это как бы не проблема файловой системы, используйте рейд, господа.
4. Для домашнего пользования, если не девелопить дома - идея не нужная, мультимедия контент будет различным, но зфс вроде и не для дома придумали ))

harrier ()

В ZFS появилась поддержка исключения дубликатов

> Молния - хаха, вы совсем ничего не понимаете в устройстве датацентров

Ну, не всем обслуживать "датацентры" в которых хостятся вконтакты, аднакласники, фэйсбуки и тытрубы, где "пару запросво можно пропустить, остальные раскидать", некоторым приходится работать с более приземленных условиях - ну там на траспорте, в энергетике и прочих отраслях для быдла :-)

no-dashi ★★★★★ ()

В ZFS появилась поддержка исключения дубликатов

но разговор то велся про датацентры или я чего то опять не понимаю =)
может это российские реалии, но у нас даже клиентские серверные оборудованы по полной.
и все равно не вяжется - молния в серверной. они на улице или к городской эл. линии напрямую подключены? =)

EvgGad_303 ★★★★★ ()

В ZFS появилась поддержка исключения дубликатов

> молния в серверной. они на улице или к городской эл. линии напрямую подключены?

Ты хоть раз в жизни разряд хороший долгий разряд ближе километра видел? Пару секунд до удара и столько же после в воздухе треск стоит от статики, и все к чему подключены провода длиной более 5 метров, можно готовиться списывать. А не повезет - и трехметрового провода хватит.

no-dashi ★★★★★ ()

В ZFS появилась поддержка исключения дубликатов

> Ты хоть раз в жизни разряд хороший долгий разряд ближе километра видел? Пару секунд до удара и столько же после в воздухе треск стоит от статики, и все к чему подключены провода длиной более 5 метров, можно готовиться списывать. А не повезет - и трехметрового провода хватит.

Ого. А что при этом делают громоотводы? Перекур устраивают?

Evgueni ★★★★★ ()

В ZFS появилась поддержка исключения дубликатов

молодец, курс электротехники еще не забыт.
только как это относится к закрытому помещению? и громоотводы куда и зачем ставят?

EvgGad_303 ★★★★★ ()

В ZFS появилась поддержка исключения дубликатов

> я вот тут подумал. побайтово нет смысла сравнивать. можно в поступить хитрее. вычислять несколько хэшей от блока. один оригинальный а пару других с известными изменениями. т.е. имеем оригинальный блок...

Ты не поверишь, но всеравно будут коллизии.

xintrea ()

В ZFS появилась поддержка исключения дубликатов

> и громоотводы куда и зачем ставят?

Громоотвод защитит объект от прямого попадания нескольки мегаджоулей и состояния "сожен нафиг/расплавлен в лепешку/разорван на британский флаг".

Проблема в том, что от скачка напряженнности электрического поля это не спасет. Электронику сжигает не полния, сжигает статический разряд, а от него ты никуда не денешься - это примерно то же, что ЭМИ от ядерного взрыва, только на несколько порядков слабее. Но, как говорится, вода камень точит.

Ради интереса узнай в страховой количество страховых случаев по отказу оборудования вследствие грозы (если, конечно, тебе сообщат такие цифры, но что-то я сомневаюсь :-))

no-dashi ★★★★★ ()

В ZFS появилась поддержка исключения дубликатов

Ради интереса узнай в страховой количество страховых случаев по отказу оборудования вследствие грозы (если, конечно, тебе сообщат такие цифры, но что-то я сомневаюсь :-))

Погодные явления == не страховой случай.

iZEN ★★★★★ ()

В ZFS появилась поддержка исключения дубликатов

все это красиво расписано, только создается впечатление, что сервера находятся в открытом поле, на улице.
КАК в нормальную серверную попадет разряд? я не имею ввиду стойку в кабинете, который был незанят когда думали куда поставить.
я не знаю ни одного случая отказов оборудования в серверной по причине молнии.

EvgGad_303 ★★★★★ ()

В ZFS появилась поддержка исключения дубликатов

> КАК в нормальную серверную попадет разряд?

Ты читать умеешь или нет? Сжигает СТАТИКА. Ближе 30 метров к громоотводу стоять страшно. Считается что безопасно, но все равно страшно - от разрядов кожу пощипывает.

no-dashi ★★★★★ ()

В ZFS появилась поддержка исключения дубликатов

а ты головой думаешь или туда только кушать изволите?
стены там как, из папье-маше делают или куда?
и не надо мне тут учебник по электротехнике пересказывать.

EvgGad_303 ★★★★★ ()

В ZFS появилась поддержка исключения дубликатов

> с лентами как раз всё шикарно, там форматы не меняются десятилетиями
это какими десятилетиями? ну-ка прочитайте-ка мне на dds-4 или lto-4 ленту первого поколения? прои писать - вообще молчу. прочитайте-ка мне 50мб колорадо!;-)
а вотDIE стнадрат отпраздновал своё 20 летие в этом году - и надо заметить, воткнутый 40-ковник - заработал в соверменной маме 2009 года, правда с выставлением настроек в pio0. и ata-zip 99 года у меня работает (на днях старые архивы смотрел) - всё читается и даже пишется.
mfm/rll диск (ST506) прекрасно прочитается на любом старом контроллере и писюке образца 1999 года где ещё есть ISA плата. в прошлом году человеку помогали перелить - комп стоял на телефонной статистике с 1992 года, умер физически, но винт жив и контроллер тоже - перелили всё с помощью TXP4.

mumpster ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.