LINUX.ORG.RU
ФорумTalks

Зачем мне Object Storage?

 , ,


0

4

Сабж, «for personal use», для ынтерпрайза более-менее понятно, а вот для дома, для семьи?

Кстати, ответ «не знаешь, значит он тебе не нужен» 100% всё объясняет. Но бакет уже есть, а что с ним делать, не знаю.

Что уже пробовал:

  • к Nextcloud подключал
  • в каталог хомяка монтировал
  • …?

Поделитесь идеями?

Предложенные варианты:

  • restic|rclone
★★★★★

Ответ на: комментарий от vvn_black

Object Storage is an Object Storage service based on the S3 protocol. It allows you to store any kind of objects (documents, images, videos, etc.) via the HTTP protocol

А, ну так бы и сказали «протокол нужен для того, чтобы доить из лохов деньги, залочивая их на наш сервис». Соответственно, ответ на вопрос о том, зачем это «для дома, для семьи?» станвоится очевиден.

byko3y ★★ ()
Ответ на: комментарий от post-factum

Бекапы restic’ом кидать.

Идея понравилась, спасибо.

Репозиторий инициализировался, но потом на любую операцию Fatal: wrong password or no key found. Все параметры через переменные окружения.

vvn_black ★★★★★ ()

мне бы пригодился чтобы хранить файлопомойку и шарить по необходимости оттуда что-то

mittorn ★★★★★ ()
Ответ на: комментарий от mittorn

чтобы хранить файлопомойку

Для этого же клиент нужен, например, тот же Nextcloud, а с клиентом какая тогда разница, что там в хранилище S3 или ФС.

vvn_black ★★★★★ ()
Ответ на: комментарий от post-factum

Как-будто там что-то специфичное для aws-бэкенда.

vvn_black ★★★★★ ()
Ответ на: комментарий от vvn_black

Вы о чём, можно мысль про лохов и залочивание развернуть?

В том, что AWS не масштабируется по цене. Мелкие пользователи создают околонулевую нагрузку на сервера, потому амазон готов давать таким людям сервис бесплатно. Но, блин, я тебе 10 Гб могу захостить бесплатно так-то — такое нынче время. Собственно, Backblaze что-то вроде 10 Гб и выдает всем. Веселуха начинается тогда, когда масштаб растет, данные разрастаются до единиц терабайт, и вот лох уже должен отстегивать 20-50-100$/месяц амазону, когда нынче терабайтные SSD стоят 150$, за 300$ можно поставить 4Тб зеркало на жестких дисках, а терабайт на Backblaze B2 тебе обойдется в 5$/месяц.

Но лох, естественно, не будет делать хранилище переносимым, а залочится на S3 — сам амазон предпринимает усилия, чтобы это случилось. Всё это в итоге выливается в нытье на форумах вроде «мы спроектировали систему в AWS, и всё было хорошо, пока AWS не сожрало весь наш бюджет».

Хочешь делать бэкапы? У Backblaze есть тариф для одних бэкапов, с медленным соединением и ограничением срока хранения в 30 дней. Обычное бесплатное файловое хранилище предоставляют кучу сервисов, вроде dropbox, mediafire, и прочих. К слову, Mediafire имеет свой хостинг, потому предоставляет бесплатно 10 Гб, как и Backblaze. Dropbox же с серверами на амазоне вынужден жадничать и предоставлять только 2 Гб бесплатно.

PS: а сам амазон дает 5 Гб S3 бесплатно.

byko3y ★★ ()
Последнее исправление: byko3y (всего исправлений: 1)
Ответ на: комментарий от ritsufag

Пока дядя за тебя платит можно и не париться

Смотри чтоб не вышло так, что дяде проще выгнать тебя на мороз и нанять человека, который сможет за высвобожденные деньги сделать хостинг в 10 раз дешевле. Но я еще раз повторюсь, что пока речь идет про единицы гигабайт и низкую нагрузку, то вообще все равно что, как и где хостить.

byko3y ★★ ()
Ответ на: комментарий от byko3y

S3 есть у кучи хостеров, так что это не особо залочка, если на нём просто хранить объекты. Идея S3, что оно в рамках одного хостера может выйти дешевле добавления диска к серверу, а также хостер за тебя позаботится о надёжном хранении.

KivApple ★★★★★ ()
Ответ на: комментарий от mittorn

ФС на vps'ке маленькая, много там не похранишь

Может я что-то пропустил, но разве для одного сервера не нормально иметь емкость эдак в 30 Тб? По-моему даже офисно-бытовые файлосервера в такое умеют.

byko3y ★★ ()
Ответ на: комментарий от KivApple

S3 есть у кучи хостеров, так что это не особо залочка, если на нём просто хранить объекты. Идея S3, что оно в рамках одного хостера может выйти дешевле добавления диска к серверу, а также хостер за тебя позаботится о надёжном хранении

Я не спорю — MinIO сейчас только ленивый не подымает. Правда, как ты заметил, получается это не проще, потому что по сути S3 является API к тщательно налаженной системе облачного хранилища. Что не отменяет необходимости эту самую систему облачного хранилища налаживать. И S3 не дает преимущества над какой-нибудь залвкой по FTP на несколько серверов, потому что сам протокол не инкапсулирует заморочки работы с разными узлами — это должна делать приложуха поверх S3, что как бы снова намекает на AWS, если мы действительно хотим упростить работу с файлами, а не поменять шило на мыло.

byko3y ★★ ()
Ответ на: комментарий от post-factum

Надеюсь, документацию ты таки читал.

В общем, дело было не в документации, а в том, что провайдер хранилища и restic по разному понимают, как должен выглядеть маршрут до бакета. Всё работает.

Плюсик за идею.

vvn_black ★★★★★ ()
Ответ на: комментарий от byko3y

Всё это в итоге выливается в нытье на форумах вроде «мы спроектировали систему в AWS, и всё было хорошо, пока AWS не сожрало весь наш бюджет».

Потому, что aws требует проектирования с учётом вопроса «насколько дешевле это спроектировать самим либо вытащить в другое облако с учётом стоимости разработки (девелоперы хотят есть, внезапно) и поддержки (опсы тоже хотят есть)». Если aws не экономит бюджет — не надо его юзать.

x3al ★★★★★ ()
Ответ на: комментарий от x3al

Потому, что aws требует проектирования с учётом вопроса «насколько дешевле это спроектировать самим либо вытащить в другое облако с учётом стоимости разработки (девелоперы хотят есть, внезапно) и поддержки (опсы тоже хотят есть)». Если aws не экономит бюджет — не надо его юзать

Блин, а я тебе о чем пишу? Я как раз пишу о том, что чем ниже уровень разрабов — тем выше шанс встрять при повышении нагрузки. Потому нужно иметь адекватного чела хотя бы на этапе принятия решений, а далеко не каждая индусоконтора или просто заказчик, нанимающий фрилансера, могут сделать такую оценку. Причем, многое еще будет зависеть от того, насколько бездарно будет выполнена реализация. А если речь идет про питон, то бездарно реализация будет выполнена практически всегда, что поощряется широкими возможностями масштабирования AWS, которые покажут проблему реализации только на самом-самом последнем этапе, когда пользователи уже пользуются системой и человеки, платящие за AWS, рвут волосы на голове в бешенстве.

byko3y ★★ ()
Ответ на: комментарий от mittorn

в VPS?

VPS — это совсем не то решение, я не понимаю почему ты к нему прицепился. Простая арифметика: допустим, каждый пользователь с файловым серваком жрет 500 Мб оперативы (ось плюс сервер, хотя хостеры VPS обычно выдают от гигабайта), и 100 Гб дискового пространства. На сервере, допустим, 50 Тб дисков (что есть довольно мало), то есть, 500 пользователей, а значит потребление памяти 250 Гб. Даже память DDR3 стоит 600$ за 100 Гб — в итоге получается 1500$ на одной оперативе. Сравни цифру со стоимостью зеркала 50 Тб, которое будет стоить порядка 3000$ на жестких дисках. И это я еще не считал процессор, который по сути будет заниматься только переключениями контекста.

То есть, для сокращения стоимости нужен виртуальный хостинг, а не выделенный сервер. Например, Backblaze свои датацентры делает на 4U серверах по 200-500 Тб, при этом 32 Гб DDR3 и ссаный 4-ядерный зеон в каждом:

https://www.backblaze.com/blog/cloud-storage-hardware/

Вот почему 10 Гб для них — это вообще ничто, ноль. По крайней мере пока каналы не забиваешь — потому их тарифные планы неограниченного бэкапа также неявно подразумевают ограничение скорости где-то 1 Мбит/с.

Вполне возможно, что просто нету такого спроса на бигдату, потому отечественные хостеры не спешат размещать у себя сервера на несколько петабайт инфы. Особенно учитывая, что совсем недалеко, в амстердаме, уже есть датацентр Backblaze, с которым не так просто конкурировать. А тот же Hetzner дает уже готовые виртуальные файлопомойки с хорошим масштабированием цены на больших объемах и доступом по более привычному HTTP/FTP/WebDAV/rsync. А кому нужно, просто ставит свой сервер с дисками — вот и вся история. Никто не мешает поставить свой 1U сервер с 60 Тб дисков в стойку за 40-50$ в месяц — это намного дешевле аналогичного решения даже Backblaze (150$ за 30 Тб), не говоря про Amazon (500-700$ за 30 Тб).

byko3y ★★ ()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)