Исправление LINUX-ORG-RU, (текущая версия) :
Субд. Или если хочется эдакого то прям файловую систему юзать как базу и манипулятивное средство. ext4 вроде умеет 4 миллиарда файлов все твои данные это 100 гигов в максимуме тогда взять штук 30 винтов по 100 гигов (с запасом ибо, ибо бо) в них поочерёдно вписывать строки в файлы под индексами 1,2,3,4,5,6… в соотвецтвии с положением в изначальном массиве. в софте обращатся просто к файлам, а жёсткие диски будут смотрированны в 1 корневой каталог и воспинимаются как просто чанки тут от 1 до 3000000000 следующий от 3000000000 до 6000000000. Всю работу свести просто к работе с «большой» ФС. Всё. Ядро будет кешировать часто используемое на автомате. Будет быстрее любой бд (которую также один хрен придётся разбивать на диски и партицировать) ибо никакого тебе индексирования,поиска и прочего, вот те инода вот те файл. Можно ещё 30 витов рядом вствить в рейде для зеркала.
Перемещать файлы можно без перемещения просто переименовывая, перемещать миллиардами можно просто задав именнованый каталог имя которого будет меткой смещения того что он содержит. (Хотя может получится каша внутри в том полане что руками будет сложно ковырять, но по ночам когда все спят можно таки делать реальный перенос данных между винтами выстраивая всё уже в физическом смысле по нужному порядку, хотяяя, нахрена?)
Ну или ещё как извратиться =) ФС это хорошая БД сама по себе. =)
А лучше купить 256 гогов оперативки, загнать все данные в двумерный массив или двусвязный список и вертеть этими миллиардами на своём шаловливом со скоростью калибри
Исходная версия LINUX-ORG-RU, :
Субд. Или если хочется эдакого то прям файловую систему юзать как базу и манипулятивное средство. ext4 вроде умеет 4 миллиарда файлов все твои данные это 100 гигов в максимуме тогда взять штук 30 винтов по 100 гигов (с запасом ибо, ибо бо) в них поочерёдно вписывать строки в файлы под индексами 1,2,3,4,5,6… в соотвецтвии с положением в изначальном массиве. в софте обращатся просто к файлам, а жёсткие диски будут смотрированны в 1 корневой каталог и воспинимаются как просто чанки тут от 1 до 3000000000 следующий от 3000000000 до 6000000000. Всю работу свести просто к работе с «большой» ФС. Всё. Ядро будет кешировать часто используемое на автомате. Будет быстрее любой бд (которую также один хрен придётся разбивать на диски и партицировать) ибо никакого тебе индексирования,поиска и прочего, вот те инода вот те файл. Можно ещё 30 витов рядом вствить в рейде для зеркала.
Перемещать файлы можно без перемещения просто переименовывая, перемещать миллиардами можно просто задав именнованый каталог имя которого будет меткой смещения того что он содержит. (Хотя может получится каша внутри в том полане что руками будет сложно ковырять, но по ночам когда все спят можно таки делать реальный перенос данных между винтами выстраивая всё уже в физическом смысле по нужному порядку, хотяяя, нахрена?)
Ну или ещё как извратиться =) ФС это хорошая БД сама по себе. =)