LINUX.ORG.RU

Реализация быстрой проверки строки из файла в несколько гб

 ,


1

2

Обычный текстовый файл со строками, каким образом лучше будет его спарсить (в бд например), что бы без большой нагрузки проверять постоянно наличие в этом файле строки?

Ответ на: комментарий от quester

бери от строки хеш sha3_512

ТС так и не описал задачу.

Брать большой хеш относительно например маленьких размеров IP (вдруг они ищутся) – напрасная трата вычислительных ресурсов в виде потери лишнего электричества, памяти и времени на вычисления.

HIS
()
Последнее исправление: HIS (всего исправлений: 1)
Ответ на: комментарий от anonymous

Плохо что анонимам редактировать нельзя

Так и не выделывайся. Заходи человеком!

HIS
()
Ответ на: комментарий от HIS

Брать большой хеш относительно например маленьких размеров IP (вдруг они ищутся) – напрасная трата вычислительных ресурсов в виде потери лишнего электричества, памяти и времени на вычисления.

если строки меньше хеша (тот же IP), то да, их самих можно использовать как ключ. я так понял что они больше хеша.

quester ★★
()
Последнее исправление: quester (всего исправлений: 1)
Ответ на: комментарий от quester

если строки меньше хеша (тот же IP), то их самих можно использовать как ключ

именно.

я так понял что они больше хеша.

ТС молчит как рыба об небесную твердь про это.

HIS
()
Ответ на: комментарий от HIS

arduino и все-все-все

Стоит ли себе взять микроконтроллеры в одно из своих хобби?

Сами по себе МК бесполезны, этим (как хобби) стоит заниматься если любишь паять и собирать разного рода самоделки.

Есть у кого хобби такое - делать «мегаподелки» на Ардуино?

Есть такие, но чистый AVR без ардурины.

На ЛОРе Ардуино не любят.

@Heretique, если верить ЛОР-овцам, то все (включая человеков) ненужно и должно быть закопано.

Столкнулся с тем что AVR весьма маломощны в вычислениях.

32 РОН и отсутствие аккумулятора… Вернемся к вопросу производительности, когда освоите STM8 с его наркоманской системой команд.

AVR… там нужно программировать на C

GCC дает крайне не оптимизированный код: постоянное насилование стека (операции на котором - не про AVR), непонятные переходы и попытки скопировать что-нибудь из памяти программ в ОЗУ… Программирование на С (и тем более С++) под AVR - это борьба с компилятором. На ассемблере код пишется и быстрее, и приятнее.

распосзнование образов и т.п.

@Int0l, напомню, что мы обсуждаем микроКОНТРОЛЛЕРЫ, а это такие штуки, которые чем-то управляют. Управляют, понимаешь?

Расскажи мне больше. Серьёзно.

easyelectronics.ru

anonymous
()
Ответ на: arduino и все-все-все от anonymous

На ЛОРе Ардуино не любят.

Heretique, если верить ЛОР-овцам, то все (включая человеков) ненужно и должно быть закопано.

Вообще-то, абдурину нигде не любят. Это же дикость какая-то! Кстати, остальные аврки - тоже дикость. Использовать это в 21 веке — как каменным топором фигурную резьбу по дереву делать! Есть же STM32, всякие нувотоны и толпа прочих МК, которые за небольшую стоимость позволяют иметь значительно больше аппаратных возможностей, чем в дебильных аврках!

STM8 с его наркоманской системой команд

А зачем писать на ассемблере, когда есть sdcc?

GCC дает крайне не оптимизированный код

Да шо ты говоришь! Это ж просто откровение какое-то! Уже лет 10 как gcc выдает такой код, что не всякий человек на ассемблере такое наоптимизирует! Вот sdcc - да, он еще очень далек от идеала, но под STM8 и пики больше ничего нет.

На ассемблере код пишется и быстрее, и приятнее.

Теперь я понимаю, почему ты вместо нормальных микроконтроллеров аврки используешь!

easyelectronics.ru

Советую еще на http://mcu.goodboard.ru/ заглядывать.

// кстати, а где ссылка на оригинальную тему, откуда флуд пошел?

OnlyAsk
()
Ответ на: комментарий от OnlyAsk

Да шо ты говоришь! Это ж просто откровение какое-то! Уже лет 10 как gcc выдает такой код, что не всякий человек на ассемблере такое наоптимизирует!

Если мнение анонимуса для тебя не достаточно авторитетно (заметь, я не пишу «прекращай газифицировать лужи», хотя мог бы) - посмотри исходники freertos (все критичные куски avr-кода переписаны на асме).

аврки - дикость, везде использую stm32

У СТМ32 нагрузочная способность ниже, они чувствительны к статике (относительно АВР) и во многих случаях избыточны.

Теперь я понимаю, почему ты вместо нормальных микроконтроллеров аврки используешь!

Пересобери libastral.so! Не угадываешь же!

anonymous
()
Ответ на: комментарий от anonymous

все критичные куски avr-кода переписаны на асме

Здесь ключевое слово - avr, потому что аврки - такое дерьмище, что плакать хочется!

У СТМ32 нагрузочная способность ниже

В смысле?

они чувствительны к статике

Суппрессоры ставь!

во многих случаях избыточны

С чего бы? Аврка стоит 40 рублей, STMка - 30. По периферии сравнить невозможно: аврка - просто срань какая-то... Ну и зачем же аврку в этом случае пользовать? Пусть из 32 ног стмки ты только 10 используешь, зато не долбишься ногодрыгом, а используешь нормальные аппаратные возможности.

Пересобери libastral.so! Не угадываешь же!

Очень даже угадываю: ты привык на асме писать, а С совершенно не осилил. Писать под стмки на асме - это дикость, вот ты и застрял на аврках.

OnlyAsk
()
Ответ на: комментарий от rebforce

не хочет делиться более общей картиной.

Ну и нахер он нам тогда?

LamerOk ★★★★★
()
Ответ на: arduino и все-все-все от anonymous

Какого многочлена ты сюда эту тему принёс?

Потерялся в пространстве ШтолЕ?

HIS
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.