LINUX.ORG.RU

Выбор файловой системы


0

0

Есть такая задача, нужно выбрать правильную фс для хранения десятков тысяч а может и сотен тысяч файлов размером 10-15k каждый. Сейчас стоит винда с NTFS ну ооооооочень не подходит для этой задачи. При открытии директории с 50000 примерно файлов занимает ооооочень долго времени.

Справится ли линукс с этой задачей и какую фс вы бы порекомендовали. При условии что все это нужно будет записывать на болванки DVD.

★★

reiser, btrfs, _правильно_ созданный ext4. Остальные пролетают. Но все-таки лучше киллерФС.

linux4ever
()

Тебе нужны файлы или записи в них? Если второе, то лучше все-таки базу данных сделать. И искать будет однозначно быстрее, и файлов будет сотни, а не сотни тысяч, и бэкапы легче, и вообще всё.

abraziv_whiskey ★★★★★
()

>При открытии директории с 50000 примерно файлов

«открытие» в смысле «получить информацию об каждом из файлов»? Это всегда будет медленно, 50000 stat-ов дёшево не обходятся. Правильнее всего отучить клиентов от «бровзеров», пусть открывают не каталоги а файлы и какую-то программу поиска, методами работы которой ты cможешь управлять.

DonkeyHot ★★★★★
()
Ответ на: комментарий от DonkeyHot

Правильно. Хороший пример - squid. Он же не размещает все миллионы кешируемых файлов в одной директории, а создает двухуровневую структуру директорий: так и файл проще найти, да и readdir быстрее будет выполняться.

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от DonkeyHot

Дело в том что я не смогу создавать каталоги и подкаталоги. Ситуация у меня такая что это машина на которой ftp сервер крутится. Сюда подключается DVR и записывает каждые 5 секунд jpg файл размером 15к. И так этих файлов соберается через месяц сами понимаете. Потом мне нужно записать это все на DVD вот тут и начинаются проблемы. Открыть директорий, выбрать 4gb файлов чтоб добавить в nero. Это просто ппц. Каждая операция выполняется по часу и больше. Это не моя проблема конечно но мне нужно помочь сделать это. Я увидел что с виндой такое не возможно, поэтому и спрашиваю стоит ли попробовать с рейзером или вообще стоит покупать спец оборудование.

qsloqs ★★
() автор топика
Ответ на: комментарий от qsloqs

> Сюда подключается DVR и записывает каждые 5 секунд jpg файл размером 15к

по крону создавать каждый день поддиректорию yyyy.mm/dd, и символическую ссылку, к которой пусть и идет подключение... или не подходит?

n01r ★★
()
Ответ на: комментарий от n01r

...зы, если это похожие изображения, было бы разумно их сжимать и по времени... хоть mencoder-ом

n01r ★★
()
Ответ на: комментарий от qsloqs

> ... Открыть директорий, выбрать 4gb файлов чтоб добавить в nero. Это просто ппц. ...

Генери при помощи mkisofs образ и пиши чем хочешь

ef37 ★★
()

Народ дело говорит - ReiserFS

Cancellor ★★★★☆
()

На линуксе с 50к файлами в директории легко и непринужденно справляется даже ext3. Особенно если stat не делать. Со stat'ом это будет пара секунд, без stat - порядка половины секунды.

linuxfan
()
Ответ на: комментарий от qsloqs

>Открыть директорий, выбрать 4gb файлов

Вот от этого и нужно избавиться. Пример: пишем всё в "./current", который есть ссылка на "./дата", для простоты настройки ftp сервера. Отдельная программа мониторит запись в текущий каталог (man inotify), и как только там наберётся нужный объём, создаёт новый ./дата, меняет ссылку ./current туда и начинает его мониторить. После этого ничего выбирать не нужно, for i in [0-9]*[0-9] ; do mkisofs ... $i && rm -rf $i ; done и только диски вставляй.

Всё же, подкаталоги внутри, вероятно, лучше посоздавать, т.к. 4G/15K=266666 файлов в корне диска всё равно удовольствие ниже среднего. Или запихнуть пачку jpeg-ов в один «видео»-файл, но это от задачи зависит, может быть неприемлемо.

DonkeyHot ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.