Server - обработка миллионов файлов

Телепаты в отпуске, libastral из транка тоже не собирается. Так что сам рассказывай подробнее, что тебе нужно.

Пишут товариши сервер приложений
Необходимо на сервер хранить миллионы файлов
т.е. файлы будут добавляться и удаляться

проблема: что обеспечит лучшее быстродествие? хранение файлов на диске или как блобы в базе? Или есть другой способ?

Спасибо за ответ. Надеюсь что вы ответите.

файлы хранят в файловой системе, только не надо кидать их в одну директорию, а раскидать по поддиректориям (в виде дерева).

reiserfs, только не четвертый, а третий - который стейбл.

с такой формулировкой всё что угодно подойдёт. Ни размер одной записи, ни требования к скорости и задержкам не указаны.

Если речь о хранении каких-то структур данных то базу заводи, подтюнь её, организуй нормальную структуру хранения и будет тебе счастье.

Не надо хранить файлы в базе !
Если хочется с БД, то просто хранить ссылки на файлы.
Для файлов придумали файловые системы.

ovax, всё зависит от задачи. При хранении кучи мелких файлов неэкономно расходуется место на большинстве файловых систем, манипуляция с кучей файлов требует большого времени т.к. на каждый файл будет тратиться куча системных вызовов с переключением контекста итп. Когда данные в базе одним вызовом read можно сразу кучу данных считать. И вообще, хранить структуры данных в файлах имхо изобретание велосипеда :). Тут, правда, топикстартер не уточнил что у него в файлах и какую именно обработку он затеял.

> И вообще, хранить структуры данных в файлах имхо изобретание велосипеда :)

Это ты сильно задвинул, внушает! :о)

я имел в виду хранить миллионы файлов с мелкими структурами данных.

Формат вида /files/47/53/26/51475326.dat позволит легко и ненапряжно держать миллионы файлов в любой FS.

кластерные файловые системы

я всё же базы данных. У файловых хранилищ есть минус-работа с большим кол-вом мелких файлов тормозная слишком. Попробуй удалить из папки 100тыщ файлов. Вот из базы 100тыщ строк запросто :).