Продолжение темы
— Продолжение мыслей и экспериментов по распределённым форумам
— http://www.wrk.ru/support/2014/06/t89569--aviabaza-raspredelyonnaya.1622.html
Тут наткнулся на такую проблему. Как писал ранее, оценки показывают, что разбивать мои форумы надо с гранулярностью один репозиторий — один месяц. За месяц публикуется 35..40 тыс. сообщений, так что если репозиторий рассчитывать на год, получается тормозной монстр. Если резать чаще, скажем, каждую неделю, то получается много мусора. 52 репозитория за год!
Но тут лезет проблема. Аттачи. Сейчас совокупный объём всех аттачей растёт на 5..7Гб в месяц. Один только морской форум вырастает на 2..3Гб за месяц. Это снова, во-первых, усложняет работу с репозиториями, во-вторых, наводит на ограничение использования того же GitHub'а — там свободный лимит репозитория до 1Гб, потом начинают вежливо интересоваться «какого фига?».
Вывод — надо или нарезать репозитории конкретных проектов мелко (по тем же неделям) или реализовывать параллельный механизм хранения файлов. Очень интересно было бы задействовать тот же BTSync. Можно реализовать хранение файловых массивов вообще без нагрузки на сервер/репозиторий.
И тут проблема концептуальная. Сама суть разрабатываемой системы в том, чтобы всё хранилось в «одной упаковке». Очень удобно было бы имея каталог-контейнер с одним топиком в нём же сразу держать всё, что там есть.
Вижу два решения с сохранением целостности, оба не красивые:
— Нарезать репозиторий совсем мелко. Скажем, заводя по новому каждую неделю.
— Вводить жёсткие лимиты на месячные объёмы на проект. А для крупных данных, фоторепортажей всяких и т.п. отправлять в более жирное место, тот же BTSync.
А ведь ещё есть «утягиваемые» картинки, тоже жрут дофига (при вставке в темах изображений с других сайтов глупо ссылаться на внешний ресурс — через 5 лет остаётся живыми дай бог 10% таких ссылок).
Кстати, из-за всего этого, похоже, имеет смысл реализовывать переменную гранулярность для проектов. Мелкие форумы можно хранить как с разбивкой аж по году, так и не разбивая вообще. И, наоборот, надо явно резать по типу один проект == один репозиторий. Проще будет при смешанном использовании дублировать у себя только избранные проекты, а не дружеские ресурсы целиком (ресурс == сайт/хост, проект == набор тематических форумов, например «форумы о СПО/Linux»). Надо только будет максимально автоматизировать вопрос переноса сообщений/тем (со всей историей) между репозиториями.
Похожие темы
- Форум Распределённый блог (2008)
- Форум распределенный форум (2004)
- Форум Форум как «блог»? (2008)
- Форум [wayland][X]Продолжаем разговор... (2012)
- Форум нужен топ блогов (2010)
- Форум Нужен форум (2006)
- Форум Нужен совет (2013)
- Форум Нужен совет (2013)
- Форум Нужен совет (2012)
- Форум Нужен совет (2012)