Зачем мне Object Storage?

Бекапы restic’ом кидать.

хранить объекты

Object Storage

who it are

Object Storage is an Object Storage service based on the S3 protocol. It allows you to store any kind of objects (documents, images, videos, etc.) via the HTTP protocol.

Object Storage is an Object Storage service based on the S3 protocol. It allows you to store any kind of objects (documents, images, videos, etc.) via the HTTP protocol

А, ну так бы и сказали «протокол нужен для того, чтобы доить из лохов деньги, залочивая их на наш сервис». Соответственно, ответ на вопрос о том, зачем это «для дома, для семьи?» станвоится очевиден.

Вы о чём, можно мысль про лохов и залочивание развернуть?

Ловите нелоха!

Object Storage is an Object Storage

всё ясно

is an Object Storage service

Пока дядя за тебя платит можно и не париться.

Бекапы restic’ом кидать.

Идея понравилась, спасибо.

Репозиторий инициализировался, но потом на любую операцию Fatal: wrong password or no key found. Все параметры через переменные окружения.

who it are

В этой фразе прекрасно всё.

Надеюсь, документацию ты таки читал.

спасибо

мне бы пригодился чтобы хранить файлопомойку и шарить по необходимости оттуда что-то

На то она и нужна

чтобы хранить файлопомойку

Для этого же клиент нужен, например, тот же Nextcloud, а с клиентом какая тогда разница, что там в хранилище S3 или ФС.

Как-будто там что-то специфичное для aws-бэкенда.

Вы о чём, можно мысль про лохов и залочивание развернуть?

В том, что AWS не масштабируется по цене. Мелкие пользователи создают околонулевую нагрузку на сервера, потому амазон готов давать таким людям сервис бесплатно. Но, блин, я тебе 10 Гб могу захостить бесплатно так-то — такое нынче время. Собственно, Backblaze что-то вроде 10 Гб и выдает всем. Веселуха начинается тогда, когда масштаб растет, данные разрастаются до единиц терабайт, и вот лох уже должен отстегивать 20-50-100$/месяц амазону, когда нынче терабайтные SSD стоят 150$, за 300$ можно поставить 4Тб зеркало на жестких дисках, а терабайт на Backblaze B2 тебе обойдется в 5$/месяц.

Но лох, естественно, не будет делать хранилище переносимым, а залочится на S3 — сам амазон предпринимает усилия, чтобы это случилось. Всё это в итоге выливается в нытье на форумах вроде «мы спроектировали систему в AWS, и всё было хорошо, пока AWS не сожрало весь наш бюджет».

Хочешь делать бэкапы? У Backblaze есть тариф для одних бэкапов, с медленным соединением и ограничением срока хранения в 30 дней. Обычное бесплатное файловое хранилище предоставляют кучу сервисов, вроде dropbox, mediafire, и прочих. К слову, Mediafire имеет свой хостинг, потому предоставляет бесплатно 10 Гб, как и Backblaze. Dropbox же с серверами на амазоне вынужден жадничать и предоставлять только 2 Гб бесплатно.

PS: а сам амазон дает 5 Гб S3 бесплатно.

Пока дядя за тебя платит можно и не париться

Смотри чтоб не вышло так, что дяде проще выгнать тебя на мороз и нанять человека, который сможет за высвобожденные деньги сделать хостинг в 10 раз дешевле. Но я еще раз повторюсь, что пока речь идет про единицы гигабайт и низкую нагрузку, то вообще все равно что, как и где хостить.

ФС на vps'ке маленькая, много там не похранишь

S3 есть у кучи хостеров, так что это не особо залочка, если на нём просто хранить объекты. Идея S3, что оно в рамках одного хостера может выйти дешевле добавления диска к серверу, а также хостер за тебя позаботится о надёжном хранении.

ФС на vps'ке маленькая, много там не похранишь

Может я что-то пропустил, но разве для одного сервера не нормально иметь емкость эдак в 30 Тб? По-моему даже офисно-бытовые файлосервера в такое умеют.

S3 есть у кучи хостеров, так что это не особо залочка, если на нём просто хранить объекты. Идея S3, что оно в рамках одного хостера может выйти дешевле добавления диска к серверу, а также хостер за тебя позаботится о надёжном хранении

Я не спорю — MinIO сейчас только ленивый не подымает. Правда, как ты заметил, получается это не проще, потому что по сути S3 является API к тщательно налаженной системе облачного хранилища. Что не отменяет необходимости эту самую систему облачного хранилища налаживать. И S3 не дает преимущества над какой-нибудь залвкой по FTP на несколько серверов, потому что сам протокол не инкапсулирует заморочки работы с разными узлами — это должна делать приложуха поверх S3, что как бы снова намекает на AWS, если мы действительно хотим упростить работу с файлами, а не поменять шило на мыло.

Надеюсь, документацию ты таки читал.

В общем, дело было не в документации, а в том, что провайдер хранилища и restic по разному понимают, как должен выглядеть маршрут до бакета. Всё работает.

Плюсик за идею.

Даже 30гб жмотно получается в некоммерческих целях

Всё это в итоге выливается в нытье на форумах вроде «мы спроектировали систему в AWS, и всё было хорошо, пока AWS не сожрало весь наш бюджет».

Потому, что aws требует проектирования с учётом вопроса «насколько дешевле это спроектировать самим либо вытащить в другое облако с учётом стоимости разработки (девелоперы хотят есть, внезапно) и поддержки (опсы тоже хотят есть)». Если aws не экономит бюджет — не надо его юзать.

Даже 30гб жмотно получается в некоммерческих целях

USB флешка за 10$.

Потому, что aws требует проектирования с учётом вопроса «насколько дешевле это спроектировать самим либо вытащить в другое облако с учётом стоимости разработки (девелоперы хотят есть, внезапно) и поддержки (опсы тоже хотят есть)». Если aws не экономит бюджет — не надо его юзать

Блин, а я тебе о чем пишу? Я как раз пишу о том, что чем ниже уровень разрабов — тем выше шанс встрять при повышении нагрузки. Потому нужно иметь адекватного чела хотя бы на этапе принятия решений, а далеко не каждая индусоконтора или просто заказчик, нанимающий фрилансера, могут сделать такую оценку. Причем, многое еще будет зависеть от того, насколько бездарно будет выполнена реализация. А если речь идет про питон, то бездарно реализация будет выполнена практически всегда, что поощряется широкими возможностями масштабирования AWS, которые покажут проблему реализации только на самом-самом последнем этапе, когда пользователи уже пользуются системой и человеки, платящие за AWS, рвут волосы на голове в бешенстве.

в VPS?

в VPS?

VPS — это совсем не то решение, я не понимаю почему ты к нему прицепился. Простая арифметика: допустим, каждый пользователь с файловым серваком жрет 500 Мб оперативы (ось плюс сервер, хотя хостеры VPS обычно выдают от гигабайта), и 100 Гб дискового пространства. На сервере, допустим, 50 Тб дисков (что есть довольно мало), то есть, 500 пользователей, а значит потребление памяти 250 Гб. Даже память DDR3 стоит 600$ за 100 Гб — в итоге получается 1500$ на одной оперативе. Сравни цифру со стоимостью зеркала 50 Тб, которое будет стоить порядка 3000$ на жестких дисках. И это я еще не считал процессор, который по сути будет заниматься только переключениями контекста.

То есть, для сокращения стоимости нужен виртуальный хостинг, а не выделенный сервер. Например, Backblaze свои датацентры делает на 4U серверах по 200-500 Тб, при этом 32 Гб DDR3 и ссаный 4-ядерный зеон в каждом:

https://www.backblaze.com/blog/cloud-storage-hardware/

Вот почему 10 Гб для них — это вообще ничто, ноль. По крайней мере пока каналы не забиваешь — потому их тарифные планы неограниченного бэкапа также неявно подразумевают ограничение скорости где-то 1 Мбит/с.

Вполне возможно, что просто нету такого спроса на бигдату, потому отечественные хостеры не спешат размещать у себя сервера на несколько петабайт инфы. Особенно учитывая, что совсем недалеко, в амстердаме, уже есть датацентр Backblaze, с которым не так просто конкурировать. А тот же Hetzner дает уже готовые виртуальные файлопомойки с хорошим масштабированием цены на больших объемах и доступом по более привычному HTTP/FTP/WebDAV/rsync. А кому нужно, просто ставит свой сервер с дисками — вот и вся история. Никто не мешает поставить свой 1U сервер с 60 Тб дисков в стойку за 40-50$ в месяц — это намного дешевле аналогичного решения даже Backblaze (150$ за 30 Тб), не говоря про Amazon (500-700$ за 30 Тб).