LINUX.ORG.RU

nginx и большое количество маленьких файлов

 


0

2

Доброго времени суток. Есть сервер с натянутым дебианом и nginx. Всё это дело используется как кеш сервер для Steam, Origin И подобных. Называется lancache (первая ссылка из гугла на гитхабе).

Спустя 2 вечера получилось наладить на сети подобное и завернуть днс запросы на него, прошло 2 недели и жёсткий диск начал очень долго отрабатывать. За 2 недели накопилось ~2ТБ закешированного контента и 6.5 млн файлов (df -i). Жёсткий диск на 4 тб (свежий) поставлен специально, для тестирования этого всего. На боевую же планировалось использовать рейды и ссд.

При таком количестве файлов iowait 99.99% почти всегда, по понятным причинам.

Вопрос, возможно ли реализовать на nginx «компоновку» файлов в один или несколько больших из множества маленьких или изначально запись в один большой файл?

Вопрос 2, можно ли в конфигах nginx указывать несколько путей для кеширования (2 диска например) для одного виртуального хоста? proxy_cache_path /srv/lancache/data/steam levels=2:2 keys_zone=steam:500m inactive=120d max_size=5000000m loader_files=1000 loader_sleep=50ms loader_threshold=300ms;



Последнее исправление: korsakik (всего исправлений: 1)

может заюзать какие-то специализированные прокси которые такое умеют?

quester ★★
()

вещь полезная, должно быть если не в nginx то в каком-то спец http кеше

quester ★★
()

Using nginx as a reverse caching proxy is great but when the first client requests a file it must be downloaded in its entirety from the origin before nginx can start to send it on to the client. For small files this isn't an issue but for large ones the time taken to receive the file from origin significant, large enough for the client to time-out waiting for the initial response.
This module uses range requests to avoid this issue, downloading the file in small chunks which can start to be sent to the client as soon as each chunk is received.

Отключи опцию range_cache_size. Он будет медленнее делать первый запрос(чтобы выкачать весь файл), но зато не будет мусора на диске.

xpahos ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.