LINUX.ORG.RU
Форум — Admin  

Файловая система для маленьких файлов


0

0
Здравствуйте. Посоветуйте ФС, на которой хранится большое число мелких файлов (статистика прокси). На ФС нужнеы квоты. Вроде как reiserfs считается хорошей для этих случаев, но то ли из-за квот, то ли еще из-за чего - наблюдаются дикие тормоза (при том же du -h *). Но сравнить пока не с чем. Может есть ФС, где с этим будет проще?
★★★★★
← Вопрос по подсчёту трафика
NFS. проблема со входом в директорию →
Я вот подумал - может вам хранить это дело в СУБД? У меня логи squid'a совсем не маленькие - почему у вас много мелких файлов?
birdie ★★★★★
()
Ответ на: комментарий от birdie
Я немноо некорректно выразился - я имел ввиду те логи, что делает sarg. +На сервере хранятся логи с нескольких прокси серверов, с каждого сервера - до полугода. То, что генерит сарж - куча файлов html. Большая куча. За ссылку спасибо, сейчас посмотрю
roy ★★★★★
() автор топика
Ответ на: комментарий от birdie
Итересно, познавательно, но все таки "совета" для реальной жизненной ситуации я там не нашел. Наверное дело в квотах на райзер.
roy ★★★★★
() автор топика
Ответ на: комментарий от roy
Отчеты старше недели, например, запихивай в контейнер (tar).
Веб-навигацию по отчетам, через простой cgi распаковывающий нужные отчеты по мере доступа.
sdio ★★★★★
()
Ответ на: комментарий от roy 
У меня sarg всё хранит на reiser3 - особых проблем не замечал.

/dev/hda5 on /var type reiserfs (rw,noatime,notail)
/dev/hda6 on /var/spool/squid type reiserfs (rw,noatime)
/dev/hda7 on /var/spool/mail type reiserfs (rw,noatime)
birdie ★★★★★
()
>то ли еще из-за чего - наблюдаются дикие тормоза (при том же du -h *).

Интересно. Дай ссылку где ты это прочитал. Впервые слышу о таком.

iron ★★★★★
()
Ответ на: комментарий от marsijanin
Учи историю и матчасть, как только в код были добавлены значительно ускоряющие монтирование патчи - Зюзевцы начали с неё уползать в приличном темпе.
Gharik ☆
()
Ответ на: комментарий от roy
>Не понял, ссылку на что дать?

Сыылку которая хоть как-то подстверждает твои слова:

На ФС нужнеы квоты. Вроде как reiserfs считается хорошей для этих случаев, но то ли из-за квот, то ли еще из-за чего - наблюдаются дикие тормоза (при том же du -h *). Но сравнить пока не с чем.

iron ★★★★★
()
Ответ на: комментарий от iron
Хм, я имел ввиду - "считается хорошей для таких случаев" - случаев хранения большого числа маленьких файлов.

"Conclusion : For quick operations on large file tree, choose Ext3 or XFS. Benchmarks from other authors have supported the use of ReiserFS for operations on large number of small files. However, the present results on a tree comprising thousands of files of various size (10KB to 5MB) suggest than Ext3 or XFS may be more appropriate for real-world file server operations. Even if JFS minimize CPU usage, it should be noted that this FS comes with significantly higher latency for large file tree operations."

Видать я руководствовался старыми данными, хотя разница в скорости между XFS и рейзером незначительна.

http://www.debian-administration.org/articles/388

roy ★★★★★
() автор топика
распихивай файлы по директориям, сделать ls -la в директории со 100000 файлов никакая файловая система не сможет быстро.
vilfred ☆☆
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Вопрос по подсчёту трафика
Admin
NFS. проблема со входом в директорию →