LINUX.ORG.RU

json tool

 


1

1

Предположим есть у меня файлик в котором json на 200 терабайт. Мне нужна консольная тулза которая смогла бы что то в него добавить, удалить, изменить и выбрать. Тупо в один поток консольная тулза. Может файлик не в json а в bson формате. Может рядом лежит файлик с индексом который построила эта тулза по тем полям что я сказал.

Знаете такую тулзу? Не предлагайте postgresql (он пока кстати такое и не пережует) и mongodb (сомневаюсь что и оно такое осилит). Нужен минимальный кирпичик на основе которого возможно можно построить свой бильярд с официантками.

★★

JSON - только rm, как тут выше сказали

lovesan ★★
()

Как работавший с такими объемами данных, скажу, что в таких системах даже понятие файл не используется, и все исполняется чуть ли не в хардварном виде. И формат данных там конечно же совсем не JSON, или прочее, что подходит для пересылки пары килобайт в жабаскрипт.

lovesan ★★
()
Ответ на: комментарий от slovazap

Сначала расскажите что вы собрались делать силами postgresql с таблицей из одной json ячейки.

Кто сказал что в таблице должна быть одна строка? Просто строки никак не связаны между собой. Одна строка Васе, другая строка Пете.

Мгновенно без агрегирования и связывания выбирать ранее уже агрегированные денормализованные данные.

quester ★★
() автор топика
Ответ на: комментарий от quester

Кто сказал что в таблице должна быть одна строка?

Вы.

А кто предлагает запихивать весь json в одну строку, уж не вы ли? Я.

Просто строки никак не связаны между собой. Одна строка Васе, другая строка Пете.

Што?

slovazap ★★★★★
()

госпаде, написать на вашем любимом C/C++/Rust/D 100-300 строк и всё. особенно если там фиксированная структура.

anonymous
()
Ответ на: комментарий от slovazap

Што?

Вы как я понимаю предлагаете агрегировать. Например есть Вася и у него есть 1000 строк которые содержат json, который вы предлагаете агрегировать. Я же предлагаю хранить данные Васи в одной строке в одном поле, без агрегации, без сканирования таблицы, без связок. Заранее подготовленные денормализованные данные нарушающие все нормальные формы

quester ★★
() автор топика

режь свой жсон на трехтерабайтные винты. нужно добавить - втыкай еще один-два-три винта. нужно удалить - выкидываешь винт. все просто же.

conalex ★★★
()
Ответ на: комментарий от SevikL

а не врешь ли ты?

По своей же ссылке максимальный размер поля посмотрите

quester ★★
() автор топика
Ответ на: комментарий от SevikL

нам и первая монга не особо нужна, спасибо, не говоря уж о лисапедах

рад за вас. а мне вот мои лесапеды нужны

quester ★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.