Minio закончили разработку опенсорса. На что меняем?

Ещё бы знать что это такое.

А так пофиг.

Впрочем, по ссылке не видно запрета им пользоваться, так что не пойму зачем менять. Если чего-то не хватает просто доработай сам, можешь ещё и форком поделиться. Но скорее всего достаточно будет просто использовать то что есть.

На что меняем?

выглядит как какой-то наброс. Твоей компании и тебе лично, в частности, чего не хватает от текущей реализации минио? Она же никуда не делась…

Стоило бы городить посыл, опираясь на собственные необходимости, тогда бы было в разы понятнее, о чем страдает автор )

Ceph?

Вообще они и раньше к любителям опенсорса относмлись враждебно, чуть ли не судебными делами грозили в багрепортах

https://garagehq.deuxfleurs.fr/

Вон там во втором пункте есть слово «раст». Я не знаю что это «растфс» (да я даже не знаю что такое минио), но я всеми руками «за».

Мне кажется, надо ждать форка. А он наверняка появится, потому что это единственная плюс-минус нормальная реализация, с кубовым оператором и всей фигнёй.

seaweedfs, они на столько плохи, что за деньги точно никому не нужны

Меняй на пиво или шоколадку.

Царствіе Небѣсное.

Как и Омазону.

вот и мне кажется, что всякие растфсы - это конечно мило, но в продакшне всё будет грустно.

А чего делает оператор minio?

Оно AGPL, зачем менять? Бери да используй.

https://github.com/seaweedfs/seaweedfs

Из существующих открытых альтернатив можно отметить AIStore, Garage, Ambry, SeaweedFS, RustFS, hs5 и Versity S3 Gateway.

https://www.opennet.ru/opennews/art.shtml?num=64375

Seaweedfs, определенно. Пускай он не так хорошо поддерживает s3 API как minio, для базовых нужд хватает с головой. Да и не тупит как minio на большом количестве мелких файлов.

Управляет minio. Можно настрогать несколько инстансов, да и вообще проще оператором катнуть, чем с чартами возиться. Особенно если какой-нибудь argo или flux приделан.

В свое время попробовал его в докере, но не понравилось, что мало возможностей начальной конфигурации через переменные окружения в докере было. В итоге просто сделал nginx с кастомной конфигурацией на основе переменных окружения и бед не знаю.

Страшное советуешь :) Из плохого:

1. Поддержка у проекта так себе (была, когда пробовал, может быть стало лучше);

2. сложно сделано архитектурно;

3. по моему опыту использования не слишком надежно, чтобы тащить в прод (ну, может, админы плохо приготовили, мда).

С другой стороны:

1. знаю проекты, где используется и все довольны;

2. по сравнению с minio, оно быстрее;

3. Есть S3 API из коробки, то есть практически drop-in replacement.

Есть нюансы. См. пост выше.

Да, старые версии совсем на коленке написаны, сейчас как будто бы лучше. Использую в проде года 3-4, потерь данных как таковых не было, но проблемы с развалившимися кластерами и неконситентностью, из-за того что где-то внезапно кончилось место были и решать их приходилось в полуручном режиме читая исходники.

У нас была проблема, что в блобах оставался какой-то мусор после физического удаления файлов. Штатными средствами он не вычищался, а web ui показывал, что вот тут у вас занято место. Работало в режиме трех реплик + filer (то есть, ОС видела как файловую систему просто это все).

Также был случай, когда в мастер seaweedfs заехало нечто, полностью убивающее систему (deadlock). То есть, оно делало вид, что работало, а посмотришь в логи - там песец и лежит мертвенькое.

После вот этих двух прецедентов я волевым решением убрал из проекта эту херню и всем советую держаться от нее подальше :) Но, разумеется, могли уже и допилить до нормального качества.

Есть нюансы. См. пост выше.

Я юзаю примерно пол года. Поставил, нстроил кластер из 3-х нод и забыл.

Поддержка у проекта так себе (была, когда пробовал, может быть стало лучше);

У minio она была еще хуже. На любой чих они сразу предлагают заплатить.

сложно сделано архитектурно;

Наоборот, гибко. Можно повыносить части кластера на разные хосты, можно выбрать в какой БД хранить индексы файлера и и т.д.

по моему опыту использования не слишком надежно, чтобы тащить в прод

К подобному софту нужно отонсится априори как к не надежному. По сему, надежность у меня достигается резервным хостом. При любых проблемах я просто в апликухе могу поменять конект к s3 все продолжает работать. Но пока что проблем не было. Я не допускаю исчерпания свободонго места на дисках и прочие внештатные ситуации.

У minio она была еще хуже. На любой чих они сразу предлагают заплатить.

а почему ты считаешь, что они тебе должны что-то делать бесплатно?

Это же опенсорс. Разве не самоочевидно, что у тебя есть три варианта:

1. починить самостоятельно и принести патч
2. заплатить денег тем, кто этот патч напишет
3. если платить не готов, значит тебе и никому это не нужно, не дури и не раздувай софт ненужными строчками кода

MinIO is a high-performance, S3 compatible object store

Процитирую автора vitastor о причинах создания этого проекта: «Распределенные ФС либо тормозные(ceph), либо теряют данные(seaweedfs), либо всё вместе»

Я даже этот vitastor гонял на тестовом кластере - забавная штуковина, не ceph конечно, ну так и состав разработчиков несколько разный как минимум количественно

а почему ты считаешь, что они тебе должны что-то делать бесплатно?

А я так не считаю. Просто иногда бывают ситуации, когда репортишь какую-то проблему, инвестируя личное время и усилия на инвестигейты и возможно фикс, а разработчики говорят, мол нам тут баблишка отсыпали и мы будем заниматься какой-то пустяковой хренью. А та проблема которая у тебя вылезла нам не интересна. Если хочешь ускорения фикса – позолоти ручку.

В то же время, в других проектах, приоритизируют работу исходя из импакта найденной проблемы, а не на основе «важности» репортящего.

Я прекрасно понимаю, что всем хочется кушать. Но с другой стороны, я тоже инвестирую свои «ресурсы» в разбирательства а фикс проблемы, хоть и не в виде баблишка. А тебе говорят, нас интересует только оно.

Процитирую автора vitastor

Во-первых, проблема авторов подобных высказываний и их реплик в том, что очень часто изрыгнутая ими информация устаревает еще до того, как обретет материальную форму. Софт не стоит на месте, баги постоянно фиксятся. И высказывание которое было актуально когда-то – совсем не факт актуально сейчас.

Во-вторых, чаще всего автор какой-то идеи или софта пытается доказать самому себе и другим то, что в результате его труда есть какой-то сакральный смысл, «везде они друраки а один я знаю как правильно». Только при очень тщательном копании, чаще всего можно заметить лукавство, округления, предположения и натягивание желаемого на действительное.

Самым достоверным, я считаю, проверять все самому: поставил, настроил, погонял (стресс)тесты, замерял производительность, искусственно воспроизвел самые распространенные внештатные ситуации. Если софт удовлетворяет требованием – можно юзать. Если нет – попробовать разобраться, возможно пофиксить и зарепортить проблему, а еще лучше патч. Если же проблем набирается критическая масса, либо какие-то из них в моем юзкейсе не позволяют эффективно решать поставленную задачу, да еще и авторам софтины на нее плевать – софт отправляется в мусорку.

Я привёл это высказывание в том числе потому что мои собственные замеры как синтетических тестах, так и на пробной тестовой нагрузке, подтвердили мысли автора. Я тоже при экспериментах потерял данные на seaweedfs. Я тоже соглашусь с мнением что ceph медленнее, а vitastor быстрее.

Буду ли я при этом бежать, роняя кал, менять ceph в продакшен-кластерах Proxmox, что я администрирую, на vitastor? Нет.

Почему? Потому что bus factor у vitastor очень не внушает доверия при всем моем положительном отношении к проекту.

Поверх ceph некоторые проекты уже выстроили экосистему. Да, автор пытается сам поддерживать плагины к Proxmox и куберу, но это несколько не то, он это делает один и если завтра решить забить на весь проект - все продакшен-внедрения(если таковые и существуют) окажутся перед серьезным выбором на тему «куда бежать».

друзья, а вопрос остался открытым =\
я пока сюда напишу, не буду новую тему открывать.

так на что собрались менять ? пора бы и решить =)

Кто это хоть? Почему оно ненужно?

это прям действительно полезная, многими используемая штучка.
вот ты знаешь s3 ?
это s3 у тебя в локалке без регистрации и смс

Сделай национальный, спонсируемый государством форк.

Как «за», так все чатлане.

https://frostfs.info/

Мы уже несколько лет пилим децентрализованную хранилку под GPLv3.

Оно Enterprise ready, используется в коммерческих решениях и уже перевалило за экзабайт данных в проде в полях. В грядущем году хотим выделить силы на популяризацию и снижение порога входа, пока для неподготовленного внешнего наблюдателя сложно понять как легко и правильно начать с этим всем работать.

У меня протерялись твои контакты времён расцвета ЖЖ, но мне очень интересно с тобой поговорить, как с живым искателем замены minio.

e-mail: realloc@realloc.spb.ru

Но зачем мне с3 в локалке, в локалке я могу что-то более адекватное использовать, не?

Но зачем мне с3 в локалке

Чтобы можно было использовать s3 клиенты, которые, возможно, уже есть у юзеров.

Это типа для желающих переехать из амазона, но не переезжать?

Это типа для желающих переехать из амазона, но не переезжать?

Типа, да.

А вообще хз, что там у разных админов разных стартапов на уме.

Я для разработки ставил, например.

По моим представлениям, если ты локально облако разворачиваешь, то у тебя в комплекте сеф идет. Ща посмотрел, оно в с3 тоже умеет.

то у тебя в комплекте сеф идет

Мне было сложно в сеф. minio в докере запустил - минимум настроек - можно кодить микросервис на s3 API, тесты запускать…

А микроклауд как же?

ЗЫ, я бы от апи кафки не отказался, который можно быстро локально стартануть.

А микроклауд как же?

snap 😬

Тебе шашечки или ехать?

Дома openSuSE

Вот и о чем теперь с тобой разговаривать?!