LINUX.ORG.RU
ФорумAdmin

Файловая система для маленьких файлов


0

0

Здравствуйте. Посоветуйте ФС, на которой хранится большое число мелких файлов (статистика прокси). На ФС нужнеы квоты. Вроде как reiserfs считается хорошей для этих случаев, но то ли из-за квот, то ли еще из-за чего - наблюдаются дикие тормоза (при том же du -h *). Но сравнить пока не с чем. Может есть ФС, где с этим будет проще?

★★★★★

Re: Файловая система для маленьких файлов

Я вот подумал - может вам хранить это дело в СУБД? У меня логи squid'a совсем не маленькие - почему у вас много мелких файлов?

birdie ★★★★★ ()

Re: Файловая система для маленьких файлов

Я немноо некорректно выразился - я имел ввиду те логи, что делает sarg. +На сервере хранятся логи с нескольких прокси серверов, с каждого сервера - до полугода. То, что генерит сарж - куча файлов html. Большая куча. За ссылку спасибо, сейчас посмотрю

roy ★★★★★ ()

Re: Файловая система для маленьких файлов

Итересно, познавательно, но все таки "совета" для реальной жизненной ситуации я там не нашел. Наверное дело в квотах на райзер.

roy ★★★★★ ()

Re: Файловая система для маленьких файлов

Отчеты старше недели, например, запихивай в контейнер (tar).
Веб-навигацию по отчетам, через простой cgi распаковывающий нужные отчеты по мере доступа.

sdio ★★★★★ ()

Re: Файловая система для маленьких файлов

У меня sarg всё хранит на reiser3 - особых проблем не замечал.

/dev/hda5 on /var type reiserfs (rw,noatime,notail)
/dev/hda6 on /var/spool/squid type reiserfs (rw,noatime)
/dev/hda7 on /var/spool/mail type reiserfs (rw,noatime)

birdie ★★★★★ ()

Re: Файловая система для маленьких файлов

>то ли еще из-за чего - наблюдаются дикие тормоза (при том же du -h *).

Интересно. Дай ссылку где ты это прочитал. Впервые слышу о таком.

iron ★★★★★ ()
Ответ на: Re: Файловая система для маленьких файлов от marsijanin

Re: Файловая система для маленьких файлов

Учи историю и матчасть, как только в код были добавлены значительно ускоряющие монтирование патчи - Зюзевцы начали с неё уползать в приличном темпе.

Gharik ()

Re: Файловая система для маленьких файлов

>Не понял, ссылку на что дать?

Сыылку которая хоть как-то подстверждает твои слова:

На ФС нужнеы квоты. Вроде как reiserfs считается хорошей для этих случаев, но то ли из-за квот, то ли еще из-за чего - наблюдаются дикие тормоза (при том же du -h *). Но сравнить пока не с чем.

iron ★★★★★ ()

Re: Файловая система для маленьких файлов

Хм, я имел ввиду - "считается хорошей для таких случаев" - случаев хранения большого числа маленьких файлов.

"Conclusion : For quick operations on large file tree, choose Ext3 or XFS. Benchmarks from other authors have supported the use of ReiserFS for operations on large number of small files. However, the present results on a tree comprising thousands of files of various size (10KB to 5MB) suggest than Ext3 or XFS may be more appropriate for real-world file server operations. Even if JFS minimize CPU usage, it should be noted that this FS comes with significantly higher latency for large file tree operations."

Видать я руководствовался старыми данными, хотя разница в скорости между XFS и рейзером незначительна.

http://www.debian-administration.org/articles/388

roy ★★★★★ ()

Re: Файловая система для маленьких файлов

распихивай файлы по директориям, сделать ls -la в директории со 100000 файлов никакая файловая система не сможет быстро.

vilfred ☆☆ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.