LINUX.ORG.RU

Файловые системы ближайшего будущего (доклад Google)

 , , , , , , ,


0

5

В мае 2011 года, в расширенном докладе Майкла Рубина, занимающегося системами хранения данных в Google, прозвучал подробный сравнительный обзор современных файловых систем, в котором, кроме перечисления их преимуществ и недостатков, были даны и некоторые прогнозы о будущем развитии и потребностях информационной индустрии в этой сфере.

В частности, была рассмотрена способность существующих файловых систем (ФС) адаптироваться к вызовам уже ближайшего будущего (к так называемому зетта-наводнению данными), в связи с чем, из всех ФС экспертами были выделены четыре ведущие файловые системы, изначально спроектированные с учетом удовлетворения самых взыскательных требований и запросов. Вот краткий перевод этого доклада Google по каждой из отобранных ФС:

>>> Подробности

Ответ на: комментарий от nehalem

что рубин не вспомнил про рейзер4. сразу видно хороший специалист а не лоровский аналитик гг.

Угу, но восхваляет кривую и тормозную btrfs, которая позиционировалась как альтернатива reiser4. В общем, из тебя плохой тролль.

shahid ★★★★★ ()

Всё одно: для ПК под линюкс лучше ext4 ничего нет. Она лучшая по сумме параметров. До ее появления имело смысл пользоваться jfs, xfs или чем другим, но сейчас они все сливают ext4, которая и с мелкими файлами работает быстро, и с большими, и отказоустойчива, и хорошо масштабируема. Дефрагментацию вот можно теперь сделать, если нужно. В общем, универсальная штука, ничем не проигрывающая заточенным под какие-то требования.

Вот выпустят btrfs со всеми ее плюшками, тогда можно будет подумать. Хотя она и тормознее ext4, но кому-то снимки очень даже пригодятся. Ну не zfs же через фузею пользоваться :)

Да, вот такой вопрос: есть ли для xfs возможность поставить принудительную проверку через какое-то количество монтирований на уровне ФС? По типу 'tune2fs -c'.

GluckMan ★★★ ()
Ответ на: комментарий от Reset

Десятки и сотни петабайтов данных никто не держит в одной файловой системе типа ext3/ntfs и никогда держать не будет, а держат в распределенных не-posix файловых системах (пример — googlefs),

4.2. ORNL.gov -> 8P , LLNL.gov -> 10P - на обоих стоит posix fs, Lustre. так что вопли о том что posix fs там не справится - я бы предпочел не слышать.

anonymous ()
Ответ на: комментарий от anonymous

у них данные там просто лежат или они их обрабатывают? если просто лежат, то поверю, если они их обрабатывают, то не верю.

Reset ★★★★★ ()
Ответ на: почти 20 уже, где 10? от vsv

BTW, юзаю лет 17. Полет нормальный. остальное на фоне XFS - ну, в статьях все сказано

Ваши данные об остальных на фоне xfs устарели лет на 17 :) Ладно, на 6 лет - именно столько времени xfs является не нужной с выходом ext4, которая по своим потребительским качествам бьет xfs на ПК - и быстрее во всем диапазоне используемых файлов, а не только в файлопомойке, и надежней на данный момент. И, заметьте, ей не нужно даже дополнительного оборудования в виде ИБП, и вы не увидите кучу симпатичных нулей в файлах, услышав при этом от своей ФС: «А я че, я ни че, они, ваши хваленые профессионалы, сами меня так написали - комп умер, я обкакалась нулями, все претензии к господу богу и профессионалам, и к ИБП, и к барабашке, а я не виноватая».

GluckMan ★★★ ()
Ответ на: комментарий от Reset

+1024, новость - корм для хомячья, ничего общего с реальностью.

shahid ★★★★★ ()

лучше б гугля plan9 & co подтянули. вот там целый вагон новаторских идей, реализованных уже

sprutos ★★ ()
Ответ на: комментарий от Reset

у них данные там просто лежат или они их обрабатывают? если просто лежат, то поверю, если они их обрабатывают, то не верю.

обрабатывают дядечка.. обратывают. LLNL это TOP7 в теперяшнем списке, раньше был TOP1 он же BG/L (IBM blue gine series), ORNL - это TOP1 теперяшнего - помнится Jaguar aka Cray XT5. Так что как-то вот так.

Собственно данные можно посмотреть в последней редакции TOP500.

anonymous ()
Ответ на: комментарий от GluckMan

, заметьте, ей не нужно даже дополнительного оборудования в виде ИБП, и вы не увидите кучу симпатичных нулей в файлах, услышав при этом от своей ФС: «А я че, я ни че, они, ваши хваленые профессионалы, сами меня так написали - комп умер, я обкакалась нулями, все претензии к господу богу и профессионалам, и к ИБП, и к барабашке, а я не виноватая».

ЭЭЭ.. а кому тогда линукс торвальдс говорил что надо пользоваться fsync ?;-) когда на ext4 не так давно начали умирать данные из-за delayed allocations ?

anonymous ()
Ответ на: комментарий от anonymous

Чо, прям данные перезаписывают постоянно со всех нод и ничего не тормозит?

shahid ★★★★★ ()
Ответ на: комментарий от franchukroman

А еще ext3/4 с костылями.

И сколько времени нужно на создание снепшота раздела с данными хотя бы 500-600Гб?

zgen ★★★★★ ()
Ответ на: комментарий от GluckMan

GluckMan> поставить принудительную проверку через какое-то количество монтирований на уровне ФС?

принудительная проверка это как периодические ребуты нужно только для неустойчивого текущего говна.

sdio ★★★★★ ()
Ответ на: комментарий от shahid

Чо, прям данные перезаписывают постоянно со всех нод и ничего не тормозит?

Братан, в натуре не тормозит. Это же не ПохмелFS у которой 2 писателя в один файл не возможны. У люстры слава богу такой проблемы нету, она позволяет писать в файло нескольким клиентам. Кроме того часто каждый клиент пишет в свой файл. Так что вот «прям не перезаписывают» и не тормозит.

anonymous ()

Гугл интересует только он сам, поэтому доклад как бы бессмысленен. Мы, ЛОРналитики, будем юзать «обычные» десктопные ФС типа ext4/btrfs. Ну и NTFS, куда уж без неё :)

matumba ★★★★★ ()
Ответ на: комментарий от xorik

а я ее потюнил немного и норм. Но да, 400 метров выжирать на 50 гиговый пул, занятый дай бог на четверть(и при этом ТОРМОЗИТЬ) - это да, хреново. Щаз я тюнинги на оперативу убрал(12 гигов как-никак) - работает сносно...

Pinkbyte ★★★★★ ()
Ответ на: комментарий от GluckMan

не zfs же через фузею пользоваться

я пользуюсь нативным портом. Пока ему до продакшена далеко, но по производительность fuse-модуль он уже обгоняет и очень резво...

Pinkbyte ★★★★★ ()

по теме - сравнивать кластерную ФС(Hammer) и некластерные(ZFS,btrfs, насчет кластеризации XFS - хз) - это, ИМХО, странно...

Pinkbyte ★★★★★ ()
Ответ на: комментарий от Pinkbyte

Я пока ограничение на размер ОЗУ не сделал, она мнгновенно систему в своп завела (причем памяти у меня 4 гига!)

xorik ★★★★★ ()
Ответ на: комментарий от FeyFre

FAT

Нафиг там FAT? tar - лицензионно чище!

anonymous ()
Ответ на: комментарий от LongLiveUbuntu
Ответ на: комментарий от sdio

принудительная проверка это как периодические ребуты нужно только для неустойчивого текущего говна.

Блажен, кто верует. Жаль только, что железо и проги не разделяют уверенность подобного верующего, а потому: «Береженого бог бережет», - сказала монашка, натягивая презерватив на огурец.

'man tune2fs'

You should strongly consider the consequences of disabling mount-count-dependent checking entirely. Bad disk drives, cables, memory, and kernel bugs could all corrupt a filesystem without marking the filesystem dirty or in error. If you are using journaling on your filesys‐tem, your filesystem will never be marked dirty, so it will not normally be checked. A filesystem error detected by the kernel will still force an fsck on the next reboot, but it may already be too late to prevent data loss at that point.

GluckMan ★★★ ()

Это фантастика! Обсуждать перспективную ФС, даже не озадачившись обозначить требуемые критерии.

frost_ii ★★★★★ ()
Ответ на: комментарий от GluckMan

GluckMan> Bad disk drives, cables, memory, and kernel bugs could all corrupt a filesystem without marking the filesystem dirty or in error.

Верь дальше, что принудительный fsck через 25 ребутов (серверы ребутятся раз в ???) помогут в таком случае.

sdio ★★★★★ ()
Ответ на: комментарий от xorik

это да, учитывая что оптимизациями автор только занимается, жрет она как не в себя. На фряхе такого нет, что там на соляре - хз, но подозреваю что тоже кушает поэкономнее...

Pinkbyte ★★★★★ ()
Ответ на: комментарий от sdio

Верь дальше, что принудительный fsck через 25 ребутов (серверы ребутятся раз в ???) помогут в таком случае.

Где я говорил про серверы? ;)

Я не верю, я знаю.

Верят вот такие: «I trashed my system this morning when I installed coreutils-8.11... The partition in question uses xfs».

Верь и ты с ними ;)

GluckMan ★★★ ()
Ответ на: комментарий от GluckMan

Я верю. И использую XFS много лет на ПК без UPS и пр. Жив, здоров и тебе того же желаю.

sdio ★★★★★ ()
Ответ на: комментарий от ns_ramesses

Про Reiser4 они знать не знают?

Производительность, компактность, инкапсуляция метаданных - не нужны. Больше Г. хорошего и разного, надёжно хранящегося, чтоб не пропало не дай Бог. Хотя последнее конечно не про BTRFS...

DRVTiny ★★★★★ ()
Ответ на: почти 20 уже, где 10? от vsv

Re: почти 20 уже, где 10?

XFS хотя бы профи делали в те времена, когда не было такой суеты и школоты, допущенной

Дык откуда в SGI взяться школоте? Разве что пьяные школьницы забредали случайно.

anonymous ()
Ответ на: комментарий от sdio

Я верю. И использую XFS много лет на ПК без UPS и пр. Жив, здоров и тебе того же желаю.

Небось еще и бекапов не делаешь, да? :)

Relan ★★★★★ ()
Ответ на: комментарий от shahid

если ты веришь в деда мороза удачи но факты таковы что btrfs доводит до ума сообщество fedora и rh в то время как рейзер хавает баланду на зоне а его фс занимается один, еще раз по буквам: о д и н разраб у которого явные проблемы с чсв. тыц

nehalem ()

Интересно, почему Ceph не упомянута.

tailgunner ★★★★★ ()

Станно, что в списке нет nilfs. Одна из самых крутых ФС.

anonymous ()
Ответ на: комментарий от nehalem

что btrfs доводит до ума сообщество fedora и rh

Общество инвалидов детства учит свинью летать.

shahid ★★★★★ ()

Почему не были рассмотрены ...
Майкл Рубин отдельно подчеркнул, что Google умышленно не рассматривал среди числа этих перспективных ФС, такие некогда популярные проекты, как JFS, ReiserFS, а также инновационную Tux3, — из-за их хронических проблем с графиком разработки и недостаточной поддержкой кодовой базы. Поэтому они, будучи скорее «мертвыми» чем «живыми», не позволяют рассматривать их как реальные варианты для будущей миграции.

Они не признают редкое и полуживое. Поэтому и тот же Reiser4 не рассматривали.

quantum-troll ★★★★★ ()
Ответ на: комментарий от franchukroman

Снапшоты поддерживаются и другими ФС. Btrfs и NILFS2, как минимум.

Они не готовы.

А еще ext3/4 с костылями.

Костыли? Какие костыли? Давайте без костылей в продакшене обойдёмся.

iZEN ★★★★★ ()
Ответ на: комментарий от shahid

HAMMER не кластеризируется? Похоже вы не читали ее спецификаций.

anonymous ()
Ответ на: комментарий от Relan

Делаю, но пользоваться ими по причине краха ФС не приходилось.

sdio ★★★★★ ()
Ответ на: комментарий от quantum-troll

не совсем. скорее их модель сетевого прозрачного взаимодействия, облачно-кластерные системы мне кажутся более приоритетными для будущего

sprutos ★★ ()

Думайте и говорите что хотите, но снапшоты в ФС просто ДОЛЖНЫ БЫТЬ! Так что ждём стабилизации BtrFS.

fragment ()
Ответ на: комментарий от franchukroman

Неоднократно встречал жалобы на потерю файлов и на какие-то проблемы со снапшотами.

fragment ()
Ответ на: комментарий от anonymous

HAMMER не кластеризируется?

Где я об этом написал?

Кластеризуется - понятие растяжимое. Если кластеризуется также неограничено убого, как и OCFS/GPFS и большинство других кластерных posix-fs, то такая кластеризация не нужна даром.

shahid ★★★★★ ()
Ответ на: комментарий от shahid

такая кластеризация не нужна даром.

Не забывай добавлять «мне лично»

tailgunner ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.