LINUX.ORG.RU

Re: Server - обработка миллионов файлов

Телепаты в отпуске, libastral из транка тоже не собирается. Так что сам рассказывай подробнее, что тебе нужно.

gaa ★★ ()
Ответ на: Re: Server - обработка миллионов файлов от gaa

Re: Server - обработка миллионов файлов

Пишут товариши сервер приложений
Необходимо на сервер хранить миллионы файлов
т.е. файлы будут добавляться и удаляться

проблема: что обеспечит лучшее быстродествие? хранение файлов на диске или как блобы в базе? Или есть другой способ?

Спасибо за ответ. Надеюсь что вы ответите.

anonymous ()
Ответ на: Re: Server - обработка миллионов файлов от anonymous

Re: Server - обработка миллионов файлов

файлы хранят в файловой системе, только не надо кидать их в одну директорию, а раскидать по поддиректориям (в виде дерева).

sdio ★★★★★ ()

Re: Server - обработка миллионов файлов

reiserfs, только не четвертый, а третий - который стейбл.

Komintern ★★★★★ ()

Re: Server - обработка миллионов файлов

с такой формулировкой всё что угодно подойдёт. Ни размер одной записи, ни требования к скорости и задержкам не указаны.

Если речь о хранении каких-то структур данных то базу заводи, подтюнь её, организуй нормальную структуру хранения и будет тебе счастье.

true_admin ★★★★★ ()
Ответ на: Re: Server - обработка миллионов файлов от ovax

Re: Server - обработка миллионов файлов

ovax, всё зависит от задачи. При хранении кучи мелких файлов неэкономно расходуется место на большинстве файловых систем, манипуляция с кучей файлов требует большого времени т.к. на каждый файл будет тратиться куча системных вызовов с переключением контекста итп. Когда данные в базе одним вызовом read можно сразу кучу данных считать. И вообще, хранить структуры данных в файлах имхо изобретание велосипеда :). Тут, правда, топикстартер не уточнил что у него в файлах и какую именно обработку он затеял.

true_admin ★★★★★ ()

Re: Server - обработка миллионов файлов

Формат вида /files/47/53/26/51475326.dat позволит легко и ненапряжно держать миллионы файлов в любой FS.

KRoN73 ★★★★★ ()

Re: Server - обработка миллионов файлов

кластерные файловые системы

dimon555 ★★★★★ ()
Ответ на: Re: Server - обработка миллионов файлов от KRoN73

Re: Server - обработка миллионов файлов

я всё же базы данных. У файловых хранилищ есть минус-работа с большим кол-вом мелких файлов тормозная слишком. Попробуй удалить из папки 100тыщ файлов. Вот из базы 100тыщ строк запросто :).

true_admin ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.