LINUX.ORG.RU

POHMELFS, или как русские физики принимают участие в разработке ядра

 crfs, ,


0

0

Евгений Поляков, известный в кулуарах разработчиков linux своим стоическим терпением, когда речь заходит о вопросе включении его работ в основное дерево ядра, недавно опубликовал свою новую экспериментальную разработку -- POHMELFS. Евгений, не вдаваясь в подробности, приводит официальную расшифровку названия как "Parallel Optimized Host Message Exchange Layered File System". Это прототип новой сетевой файловой системы, призванной конкурировать с NFS, а также с другой недавней разработкой, CRFS. Основная идея, как объясняется в комментариях к патчу, заключается в организации локального когерентного кэша на стороне клиента, что позволяет многократно ускорить работу файловой системы (так, в простом приведенном тесте был получен 40-кратный прирост скорости).

CRFS and POHMELFS, ознакомительная статья на lwn.net

>>> Анонс патча

Ответ на: комментарий от sS

>Попробуй PVFS2 и ib как транспорт ;)

pvfs2 в которой нет избыточности метаданных и (возможно) данных? Спасибо, не подходит...

rtc ★★
()
Ответ на: комментарий от anonymous

>Где сравнение с AFS?

А что их сравнивать? В блоге автор писал, что современная сетевая файловая система без локального кеша обречена на несравнимо меньшую скорость. А если добавить несколько клиентов, активно работающих с метаданными, то совсем плохо.

rtc ★★
()
Ответ на: комментарий от sad

> Для меня все упирается в скорость винчестера, что NFS, что локальный диск - разницы особой на гигабитке и работе с мелкими файлами нет. Т.е. нечему конкурировать с NFS, в локальной сети на хороших свичах, по крайней мере.

A попробуй поднять базу данных хотя бы с четырех узлов :)))

fi ★★★
()

Да здравствует наш s0mbre!

Bass ★★★★★
()

За название -- зачот! :)

anonymous
()

Когда выпустят PIVOFS и VOBLAFS?

anonymous
()
Ответ на: комментарий от rtc

>pvfs2 в которой нет избыточности метаданных и (возможно) данных? Спасибо, не подходит...

Так вам шашечки или быстро ездить ? ;)

Кстати что понимается под _избыточностью_ метаданных ?

sS ★★★★★
()

Нее, длинно -> POHFS

anonymous
()
Ответ на: комментарий от sS

>>pvfs2 в которой нет избыточности метаданных и (возможно) данных? Спасибо, не подходит...

>Так вам шашечки или быстро ездить ? ;)

Одно другому не мешает :) - грохнулась нода и данным привет...

>Кстати что понимается под _избыточностью_ метаданных ?

Несколько метадата-серверов, чтобы при отвале одного, все еще можно было узнать, где лежат данные.

rtc ★★
()
Ответ на: комментарий от anonymous

>Да не гони.

? тогда покажите мне, как afs кеширует операции с метаданными. Покажите, как происходит синхронизация при создании объекта или его удалении.

afs кеш - это всего лишь раздел на диске, где хранятся скачанные файлы и их фрагменты.

rtc ★★
()

Re:

А версия для падонков будет? Предлогаю назвадь PREVEDFS

anonymous
()

Внесу свои пять копеек. PohmelFS при больших объемах не мыслим без модуля UnitazFS && системного вызова callIhtiandr().

anonymous
()
Ответ на: комментарий от rtc

>pohmelfs пока в самом начале развития, но с автором легко общаться, и он принимает идеи (по крайней мере для предыдущих проектов).

Мне кажется автор принимает не только идеи, но и вещества.

anonymous
()

ждем ебилдов

anonymous
()
Ответ на: комментарий от rtc

>Одно другому не мешает :) - грохнулась нода и данным привет...

Оно умеет failover но как бы "не из коробки"

http://pvfs.org/doc/pvfs2-ha-heartbeat-v2/index.php

просто это обычно не используется, у pvfs2 задачи несколько иные а именно тянуть громадные потоки I/O в MPI окружении HPC кластеров.


>Несколько метадата-серверов, чтобы при отвале одного, все еще можно было узнать, где лежат данные.

См. там же.

У PVFS2 другие тараканы:

- неполная совместимость с POSIX
- траблеммы с mmap (by design)
- нелюбовь к некоторым видам данных
- lockfree концепция

Собственно большая часть тараканов это следствие функциональной заточенности

sS ★★★★★
()
Ответ на: комментарий от sS

s/некоторым видам данных/некоторым структурам хранения данных/

sS ★★★★★
()
Ответ на: комментарий от sS

fault tolerance 2 не всегда достаточен, более того, чаще этого мало.

Избыточность такого рода не влияет на производительность, да и заточена pvfs, hadoop и т.п. на чтение и редкое обновление данных. Ее тараканы из-за того, что сделана она в userspace... Lustre к ней в могилу^Wна встречу идет.

Так что как файловая система для generic типов нагрузок для высокой пропускной способности она не тянет, для чего-то специального вполне. Это не у нее специальный mpi'ный интерфейс есть?

rtc ★★
()
Ответ на: комментарий от rtc

>Ее тараканы из-за того, что сделана она в userspace...

Это частично нивелируется прямой работой с ib (без оверхеда на ip over ib, хотя можно и так) и параллелизмом доступа(через свой API). Хотя конечно работа через юзерспейс скорости не добавляет

> на чтение и редкое обновление данных

Обновляет он тоже нормально если это не мильён мелких файлов а один здоровенный, особенно если доступ не через POSIX костыль, что к ней прилагается, а нативно через своё API

>Так что как файловая система для generic типов нагрузок для высокой пропускной способности она не тянет

В этом случай у неё боттлнек точно такой-же как в NFS (ширина полосы пропускания между клиентом и серверами данных/метаданных)

>Это не у нее специальный mpi'ный интерфейс есть?

Да. MPI-ROMIO

sS ★★★★★
()

русские физики на стоко круты, что создав с похмелья файловую систему и назвав ради прикола POHMELFS, могут обьясненить и аргументировано расшифровать похмельный бред, доступным языком для понимания мировым сообществом.

marsik
()
Ответ на: комментарий от rtc

>pohmelfs пока в самом начале развития, но с автором легко общаться, и он принимает идеи (по крайней мере для предыдущих проектов).

пусть подумает над аутентификацией, в наши-то времена :-)

Plazmid
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.