Утилита для поиска в текстовых файлах с использованием GPU

grep, который запущен из графической сессии.

Тут была старая тема grep+cuda. И ещё недавно поднималась. Смысла мало.

Точнее,языки и прочее ещё только развиваются. До переписывания поисковых движков ещё далековато. AMD со своими HSA и HUMA поторопился.

Если это прямо текстовые файлы на диске, то смысла никакого нет так как узкое место будет чтение с диска, на втором месте - передача по PCI, а на третьем уже сам поиск. И что на CPU, что на GPU он занимает такое относительно небольшое время что имеет смысл только если данные уже находятся на GPU. Но тогда уже не идёт речи об утилите, а надо писать ядро поиска текста на CUDA или OpenCL.

Даже если в наличии хороший CPU и SSD?

Если засунуть этот огромный массив данных в базу, поиск будет шустрее? База без связей итд..

При хорошем CPU и SSD тем более смысла нет. У 16x PCI-e 16 ГБ/с в лучшем случае, у NVMe интерфейса 4 ГБ/с, в лучших SSD сейчас можно выжать 2 ГБ/с, у моей системы когда я последний раз считал была 20 ГБ/с пиковая пропускная способность памяти (не учитывая кеши процессора). На супер-современной Vega VII обещают 1 ТБ/с пропускную способность памяти.

Тогда обычный grep-like поиск по 10 ГБ данных будет грубо занимать:

1) CPU
SSD->RAM 10/2=5
RAM->CPU 10/20=0.5
Итого 5.5 секунд.

2) GPU
SSD->RAM 10/2=5
RAM->GPU RAM по PCI-e 10/16 = 0.625
GPU RAM -> GPU 10/1024 = 0.001

Итого 5.63 в лучшем случае. При этом софт становится гораздо сложнее, увеличиваются накладные расходы и добавляются задержки - например, поиск на GPU при найденном совпадении мновенно не остановить.

Вот если бы данные были изначально в памяти GPU - это другое дело, это имеет смысл.