LINUX.ORG.RU

Лучший способ для распределенного хранения данных - много много картинок CEPH, MINIO, GLUSTER

 ,


0

2

Есть программа которая работает с большим колличеством картинок. показываются они через nginx и добавляются через python flask

Сейчас все работает просто в локальной файловой системе

Но скоро объем данных вырастет больше чем доступно на одной машине. Т.е. данные можно хранить распределенно. Можно конечно в базе данных какой то хранить но мне не нравится.

Вопрос что лучше всего выбрать из data storage?

Желательно что бы можно было примонтировать на нескольких машинах и работать как будто с локальной файловой системой?

Или что бы совсем несильно переписывать код.

Причем желательно что бь легко интегрровалось в php и python flask И что бы nginx мог картинки как статику показывать просто по адресу.

CEPH, GLUSTER

Пробовал и то и то, у меня под нагрузкой либо не выдерживало либо отваливалось. Так и пришлось свой велосипед пилить (типа примитивной cdn). Просто раскидываю файлы rsync-ом по серверам, а в бд адреса файлов/серверов. Самые популярные файлы на многих серверах для раздачи.

pi11 ★★★★★
()

в php и python flask И что бы nginx мог картинки как статику показывать просто по адресу.

Боюсь, что только minio. s3 уже практически стандарт и не сложно дописать взаимодействие с ним. А вот со статикой сложнее, но можно примонтировать bucket через какой-нибудь s3fs или rclone. А вообще если авторизацию в настройках proxy к minio в header’ах прописать, то тебе к файлам и не надо обращаться. Просто проксируешь запрос к minio.

adn ★★★★
()
Последнее исправление: adn (всего исправлений: 2)

Minio. Глистер тебе не нужен если тебе не нужен posix fs (см ниже), а поднимать ceph без бригады обученных админов это ад и погибель.

Желательно что бы можно было примонтировать на нескольких машинах и работать как будто с локальной файловой системой?

Не надо, серьёзно. «Как с локальной фс» это значит «очень много дополнительных и нафиг не нужных вызовов и метаданных». Перепиши на s3-compatible типа того же minio

upcFrost ★★★★★
()
Последнее исправление: upcFrost (всего исправлений: 1)
Ответ на: комментарий от karaien

Костыль же. Они просто режут файлы по 255кб и каждый из них становится отдельным документом.

Нет, я вообще не против mongo’и, но мне кажется такое оправдано, только если ты УЖЕ в ней хранишь логику/данные.

adn ★★★★
()