Что такое ROCm и что нужно для работы OpenCL на новых картах AMD

Для работы ROCm и OpenCL (да вроде как и amdgpu, хотя могу ошибаться), который с его помощью реализован на GFX8+ нужны атомарные операции шины PCIe. Которые в спецификации появились только для в стандарте 3.0. Так что увы, но нет. Более древние радеоны на GCN 1.0 и 1.1 с экспериментальной поддержкой заведуться, но не полярисы с вегами.

Меня интересует заведется ли OpenCL (не ROCm) на старом CPU или нет? Или для этого нужно только ROCm и следовательно только новый CPU?

Просто я уже заказал карту и это будет причиной отказаться от ее покупки, если окажется, что нельзя на ней запускать OpenCL. Или наоборот все же взять, если заработает.

OpenCL в радеоновских драйверах для линукса реализован через ROCm. Как на винде не знаю.

Тогда похоже надо отказаться. Мда.

Сама-то карта должна завестись, ограничений для этого вроде нигде нет.

Меня интересует заведется ли OpenCL (не ROCm) на старом CPU или нет?

Какая версия OpenCL тебя интересует? OpenCL 1.2 вроде работает, я тестировал бенчмарки. Если что могу запустить какой-нибудь тест если интересует. Вот мой вывод clinfo для RX 580 на i7-3770:

Number of platforms                               1
  Platform Name                                   AMD Accelerated Parallel Processing
  Platform Vendor                                 Advanced Micro Devices, Inc.
  Platform Version                                OpenCL 2.1 AMD-APP (2671.3)
  Platform Profile                                FULL_PROFILE
  Platform Extensions                             cl_khr_icd cl_amd_event_callback cl_amd_offline_devices 
  Platform Host timer resolution                  1ns
  Platform Extensions function suffix             AMD

  Platform Name                                   AMD Accelerated Parallel Processing
Number of devices                                 1
  Device Name                                     Ellesmere
  Device Vendor                                   Advanced Micro Devices, Inc.
  Device Vendor ID                                0x1002
  Device Version                                  OpenCL 1.2 AMD-APP (2671.3)
  Driver Version                                  2671.3
  Device OpenCL C Version                         OpenCL C 1.2 
  Device Type                                     GPU
  Device Board Name (AMD)                         Radeon RX 580 Series
  Device Topology (AMD)                           PCI-E, 01:00.0
  Device Profile                                  FULL_PROFILE
  Device Available                                Yes
  Compiler Available                              Yes
  Linker Available                                Yes
  Max compute units                               36
  SIMD per compute unit (AMD)                     4
  SIMD width (AMD)                                16
  SIMD instruction width (AMD)                    1
  Max clock frequency                             1411MHz
  Graphics IP (AMD)                               8.0
  Device Partition                                (core)
    Max number of sub-devices                     36
    Supported partition types                     None
  Max work item dimensions                        3
  Max work item sizes                             1024x1024x1024
  Max work group size                             256
  Preferred work group size (AMD)                 256
  Max work group size (AMD)                       1024
  Preferred work group size multiple              64
  Wavefront width (AMD)                           64Текст, который будет скрыт внутри спойлера
  Preferred / native vector sizes                 
    char                                                 4 / 4       
    short                                                2 / 2       
    int                                                  1 / 1       
    long                                                 1 / 1       
    half                                                 1 / 1        (cl_khr_fp16)
    float                                                1 / 1       
    double                                               1 / 1        (cl_khr_fp64)
  Half-precision Floating-point support           (cl_khr_fp16)
    Denormals                                     No
    Infinity and NANs                             No
    Round to nearest                              No
    Round to zero                                 No
    Round to infinity                             No
    IEEE754-2008 fused multiply-add               No
    Support is emulated in software               No
  Single-precision Floating-point support         (core)
    Denormals                                     No
    Infinity and NANs                             Yes
    Round to nearest                              Yes
    Round to zero                                 Yes
    Round to infinity                             Yes
    IEEE754-2008 fused multiply-add               Yes
    Support is emulated in software               No
    Correctly-rounded divide and sqrt operations  Yes
  Double-precision Floating-point support         (cl_khr_fp64)
    Denormals                                     Yes
    Infinity and NANs                             Yes
    Round to nearest                              Yes
    Round to zero                                 Yes
    Round to infinity                             Yes
    IEEE754-2008 fused multiply-add               Yes
    Support is emulated in software               No
  Address bits                                    64, Little-Endian
  Global memory size                              7165661184 (6.674GiB)
  Global free memory (AMD)                        6956756 (6.634GiB)
  Global memory channels (AMD)                    8
  Global memory banks per channel (AMD)           16
  Global memory bank width (AMD)                  256 bytes
  Error Correction support                        No
  Max memory allocation                           4244635648 (3.953GiB)
  Unified memory for Host and Device              No
  Minimum alignment for any data type             128 bytes
  Alignment of base address                       2048 bits (256 bytes)
  Global Memory cache type                        Read/Write
  Global Memory cache size                        16384 (16KiB)
  Global Memory cache line size                   64 bytes
  Image support                                   Yes
    Max number of samplers per kernel             16
    Max size for 1D images from buffer            134217728 pixels
    Max 1D or 2D image array size                 2048 images
    Base address alignment for 2D image buffers   256 bytes
    Pitch alignment for 2D image buffers          256 pixels
    Max 2D image size                             16384x16384 pixels
    Max 3D image size                             2048x2048x2048 pixels
    Max number of read image args                 128
    Max number of write image args                8
  Local memory type                               LocalТекст, который будет скрыт внутри спойлера
  Local memory size                               32768 (32KiB)
  Local memory syze per CU (AMD)                  65536 (64KiB)
  Local memory banks (AMD)                        32
  Max number of constant args                     8
  Max constant buffer size                        4244635648 (3.953GiB)
  Preferred constant buffer size (AMD)            16384 (16KiB)
  Max size of kernel argument                     1024
  Queue properties                                
    Out-of-order execution                        No
    Profiling                                     Yes
  Prefer user sync for interop                    Yes
  Profiling timer resolution                      1ns
  Profiling timer offset since Epoch (AMD)        1546011065693639876ns (Fri Dec 28 17:31:05 2018)
  Execution capabilities                          
    Run OpenCL kernels                            Yes
    Run native kernels                            No
    Thread trace supported (AMD)                  Yes
    Number of async queues (AMD)                  2
    Max real-time compute queues (AMD)            0
    Max real-time compute units (AMD)             0
    SPIR versions                                 1.2
  printf() buffer size                            4194304 (4MiB)
  Built-in kernels                                
  Device Extensions                               cl_khr_fp64 cl_amd_fp64 cl_khr_global_int32_base_atomics cl_khr_global_int32_extended_atomics cl_khr_local_int32_base_atomics cl_khr_local_int32_extended_atomics cl_khr_int64_base_atomics cl_khr_int64_extended_atomics cl_khr_3d_image_writes cl_khr_byte_addressable_store cl_khr_fp16 cl_khr_gl_sharing cl_amd_device_attribute_query cl_amd_vec3 cl_amd_printf cl_amd_media_ops cl_amd_media_ops2 cl_amd_popcnt cl_khr_image2d_from_buffer cl_khr_spir cl_khr_gl_event 

Не факт, что заведется

А полярис RX 580 поддерживается, да

У ТС проц старее, твой PCIe 3.0 держит в отличие от.

А там кстати пишут что для Vega начиная с ROCm 1.8 запилили работу на PCIe 2.

У ТС проц старее, твой PCIe 3.0 держит в отличие от.

Так «OpenCL 1.2 AMD-APP» вроде не зависит от процессора. Но это будет только OpenCL 1.2, и я сомневаюсь что для него будут обновления если они необходимы. Сами AMD называют этот драйвер legacy.
А вот новый активно развиваемый драйвер «OpenCL 2.0 ROCm» имеет ограничение на процессор, у меня он например не заведется.

Тогда можно еще про Clover вспомнить, тоже ведь драйвер.

Какая версия OpenCL тебя интересует? OpenCL 1.2 вроде работает, я тестировал бенчмарки. Если что могу запустить какой-нибудь тест если интересует. Вот мой вывод clinfo для RX 580 на i7-3770:

Интересно. Конечно, хотелось бы OpenCL 2.0, но и 1.2 в принципе и так годится. Это с каким драйвером, amdgpu или ставил какие-то с офсайта?

Если что могу запустить какой-нибудь тест если интересует.

Интересует, на скорую руку из готовых, что в репах скорее всего должно быть, пришел в голову hashcat Если не трудно запусти его бенчмарк.

hashcat -I информация об обнаруженных этой программой OpenCL устройств

hashcat -b запускает benchmark расчета хэшей.

Тогда можно еще про Clover вспомнить, тоже ведь драйвер.

Не совсем понял про что ты. Есть старый legacy драйвер который поддерживает только OpenCL 1.2 везде.
А есть новый OpenCL 2.0 драйвер построенный на ROCm. Я кстати так и не понял можно ли через этот ROCm рендерить графику, производить OpenCL вычисления и результат жать хардварным GPU кодеком не гоняя данные GPU->CPU->GPU.

Есть старый legacy драйвер который поддерживает только OpenCL 1.2 везде.

А есть новый OpenCL 2.0 драйвер построенный на ROCm.

А как они ставятся? В xserver-amdgpu что за OpenCL доступен?

Это с каким драйвером, amdgpu или ставил какие-то с офсайта?

Я ставил amdgpu-pro с параметром "--opencl=legacy". Вот описание установки https://www.amd.com/en/support/kb/release-notes/amdgpu-installation . А вот здесь можно скачать драйвер: https://www.amd.com/en/support/graphics/radeon-500-series/radeon-rx-500-serie...

hashcat (v4.0.1) starting...

OpenCL Info:

Platform ID #1
  Vendor  : Advanced Micro Devices, Inc.
  Name    : AMD Accelerated Parallel Processing
  Version : OpenCL 2.1 AMD-APP (2671.3)

  Device ID #1
    Type           : GPU
    Vendor ID      : 1
    Vendor         : Advanced Micro Devices, Inc.
    Name           : Ellesmere
    Version        : OpenCL 1.2 AMD-APP (2671.3)
    Processor(s)   : 36
    Clock          : 1411
    Memory         : 4048/6891 MB allocatable
    OpenCL Version : OpenCL C 1.2 
    Driver Version : 2671.3

Platform ID #2
  Vendor  : The pocl project
  Name    : Portable Computing Language
  Version : OpenCL 1.2 pocl 1.1 None+Asserts, LLVM 6.0.0, SPIR, SLEEF, DISTRO, POCL_DEBUG

  Device ID #2
    Type           : CPU
    Vendor ID      : 128
    Vendor         : GenuineIntel
    Name           : pthread-Intel(R) Core(TM) i7-3770K CPU @ 3.50GHz
    Version        : OpenCL 1.2 pocl HSTR: pthread-x86_64-pc-linux-gnu-ivybridge
    Processor(s)   : 8
    Clock          : 3900
    Memory         : 8192/29996 MB allocatable
    OpenCL Version : OpenCL C 1.2 pocl
    Driver Version : 1.1

Я про драйвер который в mesa, но он не допиленный даже 1.1 полностью не реализован, а то что реализовано сегфолтится яерез раз. А в свете наличия открытого поддерживаемого rocm, никто его допиливать не собирается.

Глянь в сторону Advanced Media Framework, сам не пользовался но вроде то что нужно для кодирования.

Я ставил amdgpu-pro с параметром "--opencl=legacy". Вот описание установки https://www.amd.com/en/support/kb/release-notes/amdgpu-installation

Хм, то есть официальные драйвера позволили иметь OpenCL, хотя и 1.2...

legacy как я понял - это вообще для всего, что менее, чем Vega.

А чисто линуксовые с mesa что-то позволяли?

В xserver-amdgpu что за OpenCL доступен?

Там если и другой то также на ROCm: https://www.x.org/wiki/RadeonFeature/

А как они ставятся?

Там в архиве скрипт для установки amdgpu-install и есть параметры запуска:

  --dryrun                 Print list of packages to install and exit
  --px                     PX platform support
  --version=VERSION        Install the specified driver VERSION
  --pro                    Install "pro" support (legacy OpenGL and Vulkan)
  --opencl=legacy          Install legacy OpenCL support
  --opencl=pal             Install PAL OpenCL support
  --opencl=legacy,pal      Install both legacy and PAL OpenCL support
  --headless               Headless installation (only OpenCL support)

А чисто линуксовые с mesa что-то позволяли?

Уже и не вспомню, а заниматься переустановкой драйверов сейчас что-то не хочется. По идеи там должен быть OpenCL 1.1 и 1.2 в процессе разработки.

Глянь в сторону Advanced Media Framework, сам не пользовался но вроде то что нужно для кодирования.

Да я смотрел в эту сторону, но он ведь вроде только под винду. А на линуксе вроде как аналог ему должен быть ROCm. Но вот в этом я и не уверен. Да действительно добавили поддержку для линукса. Но это еще больше запутывает, есть AMF, ROCm, OpenCL, OpenGL/Vulkan и как они соотносятся друг с другом не понятно.

Что-то у меня hashcat упал на определенном моменте, этих данных достаточно или еще раз прогнать?: https://pastebin.com/SqeEgzKu

Да в общем достаточно, я просто посмотрел, что ускорение реально есть и работает. Примерно похоже на то, что здесь для RX 480, чуть быстрее https://hashcat.net/forum/thread-5557-post-30508.html#pid30508

Кстати, как я понял, можно установить только OpenCL из блоба. С ключом --headless

Тогда получится, совместить? что 2D,3D,OpenGL от свободного драйвера, а OpenCL от блоба, просто полная установка я смотрю, что заменяет слишком много чего.

Тогда получится, совместить? что 2D,3D,OpenGL от свободного драйвера, а OpenCL от блоба, просто полная установка я смотрю, что заменяет слишком много чего.

По идеи да.

Между прочим, почитал про этот Atomics из-за которого такие ограничения.

Возникло впечатление, что они принципиальны для OpenCL 2.0 вообще, но в то же время актуальны при наличии нескольких устройств OpenCL между которыми идет обмен данными.

То есть, для случая одной карты и расчетов только на ней, без CPU, наверное можно было бы этот Atomics просто убрать. В крайнем случае, юзать фичи OpenCL с некоторыми ограничениями.

Есть мысль пропатчить ентот ROCm на этот счет. Если конечно не окажется, что их просто так не выдерешь.

Есть мысль пропатчить ентот ROCm на этот счет. Если конечно не окажется, что их просто так не выдерешь.

Да такая мысль уже высказывалась: https://github.com/RadeonOpenCompute/ROCm/issues/157
Но если я не ошибаюсь то эти PCI Atomics использую для протокола синхронизации между CPU и GPU в таком случае отключить наверно не получится.

Да, они там разъясняют, что все завязано на эти atomics. И вообще ROCm планировался для серьезных вычислительных задач с массивным обменом данными.

Но и прямо поясняется, что в проприетарных amdgpu-pro в 18.10 версии можно обойтись без ROCm

With AMDGPUpro stack you will not have to use the ROCm foundation at All, You will get OpenCL with out PCIe Atomics support in 18.10, it does not leverage ROCm driver foundation. You get every you want, but it is not open source. Note the issue rhlug is seeing could also be still there since Window Driver uses different kernel driver foundation that AMDGPU uses.

То есть то, что у вас заработало - это нормально. Но однозначно, что только с проприетарным блобом.

Еще нашел такой ответ https://community.amd.com/message/2863687

Currently [2016-й год], on Linux, both the driver stacks - AMDGPU-Pro and ROCm, support OpenCL 1.2 (runtime) only. Actually ROCm supports OpenCL 2.0 compatible kernel language on OpenCL 1.2 runtime.

AFAIK, ROCm stack will have OpenCL 2.0 support within next 6 months. For more information, please find a similar discussion here: OpenCL with SVM extensions on Linux for modern APUs?

С тех пор ROCm научился OpenCL 2.0, а amdgpu-pro видимо остановилось на 1.2. Это кстати наводит на мысль, что возможно ранние версии ROCm не требовали Atomics.

Я выше уже писал что в его IvyBridge есть atomics.

А у них теперь похоже только полярисы и фиджи хотят атомиков (с rocm), некоторым более старым, вроде r9 390, как и более новым вегам атомики не нужны. На Tonga я слышал они пока просто забили.

Судя по их форуму, есть-то оно есть, но не все фичи поддержаны и реально у людей не завелся IvyBridge с ROCm

как и более новым вегам атомики не нужны.

Вроде там причина все же аппаратная. Веги кажется умеют сами делать то, что в случае других карт требует поддержки процессора. Не въехал почему.

И опять же, если почитать их форумы там не все так просто и реально все же лучше вегу не использовать на старом процессоре. В общем, их объяснение такое: ROCm - это для больших вычислений и типа они не поймут как ими можно заниматься на дешевом старье.

В общем, как я понял, OpenCL 1.2 на полярисе точно будет работать. Причем есть намек, что хотя бы частично даже в OpenSource драйвере.

P.S. А вообще, что это такое Atomics? Читал, конечно по диагонали, так сказать, но на первый взгляд это что-то вроде DMA. Что видеокарты кажется умели вообще всегда, даже в древних ISA.

Как я понял: в OpenCL 2.0 завезли shared memory между хостом/устройством. И чтобы не возникало никаких race conditions при работе одного с памятью другого, (как я понимаю к одному куску памяти может хотеть получить доступ несколько устройств одновременно, вплоть до единого адресного пространства виртуальной памяти между GPU) переделали атомарные операции с оглядкой на c++11 и явным указанием memory scope в пределах которого производиться синхронизация.

Вот видимо чтоб не вовлекать CPU в проблемы общения между GPU или системной RAM нужны атомики на шине.

Интересно. Но shared memory между хостом/устройством опять же видеокарты умеют со времен AGP. И даже емнип были какие-то драйвера, позволяющие расширять системное RAM (не видеоплаты) за счет памяти видеоплаты. То есть, для OpenGL это как-то работало и раньше.

И чтобы не возникало никаких race conditions при работе одного с памятью другого, (как я понимаю к одному куску памяти может хотеть получить доступ несколько устройств одновременно, вплоть до единого адресного пространства виртуальной памяти между GPU) переделали атомарные операции с оглядкой на c++11 и явным указанием memory scope в пределах которого производиться синхронизация.

Но ведь в принципе этого же можно достичь и без таких фич. Просто указав в менеджере памяти защищенные области. Видимо Atomics позволяет вообще не заморачиваться в этом случае, перекладывая всю заботу о синхронизации на шину (контроллер карты).

В общем, теоретически такое ощущение, что таки можно было бы написать ROCm так, чтобы он не требовал новых CPU. Возможно, что с некотрой просадкой производительности.

Так на амуде опенгл как раз работает как говно тормозное. Железо говно у них видимо.

Поясните вкратце, что такое ROCm и PCIe 3.0 AtomicOp. Просто по сути, что там за фишка этого режима?

Вы точно уверены, что ва нужен ROCm, а не связка из свободного драйвера, mesa и пропиетарной реализации OpenCL? Вот сюда посмотрите: https://aur.archlinux.org/packages/opencl-amd