LINUX.ORG.RU

Ускорители NVIDIA получат прямой канал взаимодействия с NVMe накопителями

 ,


2

2

NVIDIA представила GPUDirect Storage — новую возможность, которая позволяет графическим процессорам напрямую взаимодействовать с хранилищем NVMe. Технология использует RDMA GPUDirect для передачи данных в локальную память графического процессора без необходимости задействовать центральный процессор и системную память. Этот шаг является частью стратегии компании по расширению охвата приложений в области анализа данных и машинного обучения.

Ранее, NVIDIA выпустила RAPIDS — набор инструментов и библиотек с открытым исходным кодом для поддержки аналитики на основе графических процессоров и добавила поддержку ускорения на GPU в Apache Arrow и Spark.

Закрытая альфа-версия уже стартовала для некоторых клиентов компании, публичная бета запланирована на ноябрь 2019 года.

>>> Подробности

★★★★★

Проверено: jollheef ()

Ответ на: комментарий от Aceler

То, что в некоторых устройствах они объединены, не значит, что это всегда одно и то же.

некоторых

ну... я бы не сказал, что ты не лукавишь ) к тому же на графических акселераторах считать точно так же нелогично как и на видеокартах

не, я, конечно понимаю почему так происходит, но, ИМХО, это ей-ей путь внитуда. Это потакание сиюминутным тенденциям, вместо заблаговременного системного планирования. Именно такое привело к десктопным приложениям на js-фреймворках

pihter ★★ ()
Ответ на: комментарий от annulen

Есть специальные видюхи для майнеров, в них нет видеовыходов

Это ж, вроде, прошлый век. Я читал про спец-девайсы, которые бай дизайн заточены под взятие хешей для майнинга, мол, они на порядки уделывают в этой работе видюхи.

Но я в теме не разбираюсь, запросто может быть что лапши наелся (ибо кругом, чет, не видать этих спец девайсов)

pihter ★★ ()
Ответ на: комментарий от anonymous

Куда ты денешься от шины. Это штука исключит проц из цепочки перекладывания данных. А дальше 2 варианта: или проц все еще дает команды, а данные идут по короткому пути; или проц дает gpu карту блоков(файлов), а тот сам командует. Вообще данные все еще будут проходить через черту города «CPU», но по объездной. А прямые пути надо не на программном уровне добавлять.

boowai ★★ ()
Ответ на: комментарий от Meyer

А красные шевелятся в этом направлении?

Еще в 2016.

Radeon Pro SSG: A GPU with 1TB of SSD storage attached

Given that beta developer kits are going on sale for a cool $10,000, we don’t expect to see many of these units ship, period — but if the technology proves as useful as AMD’s demo implies, we may see Nvidia move towards this concept as well. Faster PCI Express storage and higher-end GPUs may make the pairing more attractive in the future once Vega arrives.

Какой-то там очень ограниченный эксперимент с кастомизацией RX-480 и с ценником 10тыс долл ?, а продолжение было этого эксперимента последовало ? Что там с новыми картами ? Да и больше интересует не столько прямое взаимодействие с дисками, хоть это очень важный шаг, сколько прямая поддержка тензоров.

Deleted ()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от pihter

«Это ж, вроде, прошлый век. Я читал про спец-девайсы, которые бай дизайн заточены под взятие хешей для майнинга, мол, они на порядки уделывают в этой работе видюхи.»

Домашние хомяки еще продолжают майнить ? Я думал, что этот лохотрон изжил себя ))

anonymous ()
Ответ на: комментарий от anonymous

хехе, парочка пацанов, которые гопничали на раёне в 90х сейчас имеют несколько шахт по майнингу битка и лайта емнип. и блждать они даже понимают что там происходит и какой бабловыхлоп от этого идет.

в майнерах связь с накопителем совершенно не нужна. там обмен данными с процом на уровне плинтуса.

pfg ★★ ()
Ответ на: комментарий от pihter

на графических акселераторах считать точно так же нелогично как и на видеокартах

На устройствах, предназначенных для проведения расчётов, нелогично считать, конечно же. Логично считать на RAMDAC, или на DSP в звуковой карте, наверное?

Aceler ★★★★★ ()
Ответ на: комментарий от anonymous

Домашние хомяки еще продолжают майнить ? Я думал, что этот лохотрон изжил себя ))

я и не пробовал. но ко мне регулярно подходят за разъясненниями мол про что это. Причем люди настолько далекие от ИТ, что МММ курит в сторонке

pihter ★★ ()
Ответ на: комментарий от Aceler

На устройствах, предназначенных для проведения расчётов, нелогично считать, конечно же.

Я спорить не берусь, мож я чего не понимаю, но, ИМХО, нелогично, да. Оно ж предназначено для помощи в определенного вида расчетах при рисовании графики. Именно поэтому оно географически на видюховском процессоре, а не на основном. Его приспосабливают для работы, это да, но, на мой взгляд, правильнее было бы изобрести отдельное устройство.

Мировая история показывает что ели из %предмет% пытаются сделать что-то, для чего оно изначально не планировалось, то, на первый взгляд это кажется капец какой ловкой идеей, а потом ВНЕЗАПНО выясняется что дальнейшее использование/развитие упирается в системную проблему и приходится изобретать заново, выбрасывая на мороз годовые наработки и гору накостыленных за годы использования не по назначению костылей. Причем эти костыли потом десятилетиями тянутся за всем человечеством.

Пример, если почесать репку, выдумать несложно: например, когда-то магнитные ленты изобрели для записи звука, а потом придумали записывать на них произвольную цифровую информацию, невзирая на невозможность рандомного доступа (для звука был удобен последовательный доступ, поэтому лента заточена под последовательный), и сколько уже лет ни один из нас не сохранялся на кассету, а tar по-прежнему в строю и, прежде, чем заглянуть в архив, его нужно весь распаковать (неудобство гиперболизированно сознательно, не пинать)

думаю, мысль ясна

pihter ★★ ()
Ответ на: комментарий от Aceler

огично считать на RAMDAC, или на DSP в звуковой карте, наверное?

на ЦП + ОЗУ + ПЗУ, конечно же. Собственно, компьютер — он же вычислитель по определению, то есть, машина для проведения вычислений. Зачем внутри вычислителя изобретать еще один вычислитель для вычислений — загадка.

Ну если тебе не удобно управлять вычислениями на той же машине, на которой они происходят, ну заведи соседнюю-терминальную, построй инфраструктуру, собсна, все так и делают.

То есть, я про что: вместо того, чтоб развивать вычислители которые для этой задачи приспособлены плохо «бай дизайн», на мой взгляд, нужно развивать вычислители, которые для этого и изобретались.

Пусть JS оживляет веб страницы, а для десктопного софта есть Qt, от я про что

pihter ★★ ()
Ответ на: комментарий от eternal_sorrow

Лучше поздно, чем никогда. Вот видите, хоть кто-то заботится о линуксе. Амд-то заботится только о фрибсд в плойках, что бы там ни говорили.

anonymous ()
Ответ на: комментарий от eternal_sorrow

Внезапно, да. На самом деле он был актуален для всех поддерживаемых им карточек, свободный драйвер был большим дном. Ну и потом, нвидия придумала всякие универсальные libGL чтобы решить проблему навсегда. То, что кривая меза постоянно лезет куда не просят, не может не раздражать.

anonymous ()
Ответ на: комментарий от pihter

какой-нибудь калькулятор-девайс в pci-e шину и пусть калькулирует

Это и есть видеокарта. «Видео» в её название и наличие у неё видеовыхода это просто историческое наследие.

anonymous ()
Ответ на: комментарий от linuxnewbie

Нет таких, на проф картах игрушки отлично идут, даже если у карты нет своего видеовыхода - картинку можно передавать на другоую карту.

anonymous ()
Ответ на: комментарий от pihter

Это asic под одну задачу, а видюхи универсальные (правда производительность будет отвратительная если задача не подходит для архитектуры видеокарты).

anonymous ()
Ответ на: комментарий от pihter

У тебя каша в голове. Единственная задача большинства чипов в компе это вычисления, они натурально не умеют ничего другого. Видеокарты не исключение.

anonymous ()
Ответ на: комментарий от pihter

Зачем внутри вычислителя изобретать еще один вычислитель

Специализация. Архитектура процев заточена под быстрый однопоток, видеокарты под параллельные вычисления.

anonymous ()
Ответ на: комментарий от Aceler

А что вы там с бигдатой обрабатывать собираетесь? Всяческие контрольные суммы и восстановление ошибок контроллерами и так считаются, тут видюха не нужна. Видюха нужна для вычислений, для обращения матриц или моделирования взаимодействия кучи частиц. Разницу улавливаете?

A-234 ★★★★★ ()
Ответ на: комментарий от A-234

нужна для вычислений, для обращения матриц или моделирования взаимодействия кучи

Я был уверен, что видюха нужна, чтобы складывать матрицы. Это единственная решаемая ей задача.

anonymous ()
Ответ на: комментарий от annulen

Вроде разговор был не про кухарок, а про архитектуру процессоров - вопрос о котором по определению могут только рассуждать специалисты.

anonymous ()
Ответ на: комментарий от A-234

У тебя интересные представления о бигдате.

Например, у тебя есть список по загрузке всех самолётов всех аэропортов России за последние пять лет, тебе надо рассчитать, какие рейсы на следующий год оставить, какие перенести, какие заменить стыковками или соседними аэропортами.

Вот это бигдата. А контрольные суммы считать - это не бигдато.

Aceler ★★★★★ ()
Последнее исправление: Aceler (всего исправлений: 1)
Ответ на: комментарий от pihter

Мысль ясна, но история смешнее.

Видеоакселераторы так и были специализированными устройствами для расчёта 3d сцен. Они умели фильтровать текстуры, натягивать их на треугольники, собирать сцену в вьюпорт и делать z-буферинг. Не знаю эквивалентного перевода двух последних терминов на русский язык...

Где-то во времена GeForce 2 программисты решили, что этого мало, и ради спецэффектов добавили шейдеры. Шейдеры предлагали тьюринг-полный язык программирования для обработки массивов данных. Изначально текстур или буфера вывода. Вообще -чего угодно.

Сегодня дешманская amd rx560 содержит 768 блоков шейдеров, ЕМНИП. Каждый из которых работает в несколько потоков. И один блок геометрии.

Так что сказать, что видеокарта заточена под видео уже нифига нельзя, она давно уже заточена под вычисления на шейдерах. То, что такие вычисления востребованы видеокартой, ради этого шейдерные блоки прикручивают к той части, что делает геометрию, это просто из-за удобства использования в играх.

Aceler ★★★★★ ()
Ответ на: комментарий от Aceler

768 блоков шейдеров, ЕМНИП. Каждый из которых работает в несколько потоков

Это маркетинговый звездёж. Там столько ALU, выполняющих SIMD команды, и с таким маркетинговым звездежом у обычных процев с AVX можно было бы насчитать 100500 «потоков», которые не являются таковыми.

anonymous ()
Ответ на: комментарий от anonymous

SIMD это по определению одна одинаковая операция над всеми компонентами вектора, и по твоей же ссылке пишут, что неиспользуема часть вектора просто отключается и простаивает, еcли это не так (в видеокартах аналогично).

anonymous ()
Ответ на: комментарий от anonymous

Что такое NVMe и зачем оно не нужно?

Всего лиш эсэссди на писиай. Маркетинг, не более. А не нужен потому что время жизни эсэсди обратно пропорционально интенсивности его использования. А ОТ не нужно, т.к. сама по себе суть — видеокарта с драйвером энвиэмйэ — это сомнительное решение в плане компьютера не как набора доисторических костылей и подпорок.

anonymous ()
Ответ на: комментарий от anonymous

Я был уверен, что видюха нужна, чтобы складывать матрицы. Это единственная решаемая ей задача.

Ещё вектор на матрицу может. И эмулировать VGA.

anonymous ()
Ответ на: комментарий от Aceler

собирать сцену в вьюпорт и делать z-буферинг. Не знаю эквивалентного перевода двух последних терминов на русский язык...

Мальчик научился добавлять окончание -инг, чтобы получить новое слово. Но мальчик не умеет делать подобного в русском. Дурак.

anonymous ()
Ответ на: комментарий от anonymous

Скорее всего достаточно поменять *инг на форму слова с окончанием на *ие, чтобы получилось по-русски, хоть и с англицизмом. Русскоязычные официальные термины иногда могут быть достаточно упоротыми, я его не осуждаю.

anonymous ()
Ответ на: комментарий от Aceler

Не представляю как параллелить такую задачу, все что хорошо умеет делать видюха это насосать данных, загрузить процессоры и собрать результат. Всякие запросы к базам данных получают результат практически в момент считывания, там узким местом всегда была пропускная способность шины. Ваш пример вообще не биг дата, жалкие миллион-полтора полетов в год даже за пять лет можно и на смартфоне обсчитать. Ну допустим, к черту самолеты, поставим задачу наведения статистики по розничной торговле пивом на территории России. Вот тут начинается адъ, это, боюсь, миллиарды транзакций в год. Но что там распараллеливать? Все опять в шину упрется а не в производительность потоковых процессоров.

A-234 ★★★★★ ()