распределённый storage — как организовать?

О_О Что за данные? Что за запросы?

Вообще, задача очень непростая.

данные — файлы. бывают картинки, бывают видео. запросы — "а дайте мне воооон тот файлик".

понятно что задача не простая, но прежде чем садиться самому писать хотел поинтересоваться нет ли готовых решений.

Отдача и приём файлов по http пойдёт? Тогда задача сильно упращается.

мне не принципиально. можно и по http.

ну тогда rsync-ом синкаешь. И в nginx делаешь так:

server { server_name storage.ru; root /path/to/storage; error_page 404 = @404;

location @404 { proxy_pass http://storage.internal; } }

Плюс mod_upload для nginx чтобы загружать файлы.

Только вот надо сказать rsync чтобы пока файл не залился полностью ему бы присваивалось временное имя. Или он так и делает, уже не помню.

Есть ещё распределённые фс, но я их в продакшене не тестил, только немного игрался.

Можно варианты посложнее и похитрее, но я бы не стал особо мудрить, keep it simple.

гм. интересно, спасибо.

не понял только зачем mod_upload. мне вроде как по http ничего заливать не надо…

А как ты заливать на сторадж будешь? Если какими-то сторонними методами то, конечно, не нужно, а так бы получился модный RESTFul или как оно там называется..

Ещё через fastcgi_store сохраняли те файлы которые забирали из бэкенда, но для proxy_pass, на сколько помню, не работает.

Вообще, так хостинги картинок делаются. Если сервер не находит картинку у себя он опрашивает другие сервера и скачивает с тех у которых она есть.

О, вообще идеально получится: http://sysoev.ru/nginx/docs/http/ngx_http_proxy_module.html#proxy_store

дык rsync'ом же вроде решили заливать?

>дык rsync'ом же вроде решили заливать?

rsync'ом собирались синхронизировать сервера между собой. Но предложенное решение с proxy_store позволит обойтись вообще без rsync'а.

> Есть ещё распределённые фс, но я их в продакшене не тестил, только немного игрался.

Эээ, на таких каналах их лучше не юзать, иначе потом локи в случае split-brain запаритесь разруливать :)