При кодировании видео проц грузится только на 80-86%

Один из вариантов, задействовано видеоядро, второй преддекодирование. Вероятно где-то узкое горлышко. Мнение дилетанта

видеоядра не задействованы для кодирования
что за преддекодирование?
в чем узкое горлишко может быть?
ОЗУ 2x16 3600 CL14 - явно не оно
мамка на чипсете B550, тоже не оно
блок питания нормальный на целых 650 ват, 8 пин на питание проца, как положено, не 4
ничего не греется, не тротлит

старый i5-3570k грузило на 100%

Это железо, может быть я ошибаюсь, преддекодирование это что-то я я загнул наверное. Предположил, что может микруха этим заниматься на матери

Проц не кодирует видео! Он только обсчитывает то, что ему дают. А кто даёт? Если ffmpeg, то это типичное явление. Тогда надо сравнивать скорости кодирования, а не цифру загрузки проца.

Попробуй в рамдиске расположить видео кодируемое и источник. Может долго обрабатывается чтение/запись.

старый i5-3570k грузило на 100%

У Intel i5 3570k четыре потока исполнения, у Ryzen 5700G — шестнадцать.

У любой задачи есть некий лимит ускорения, выше которого не прыгнуть, сколько бы ядер не было добавлено. В теории это ограничение происходит из принципиально последовательной части задачи, и описывается «правилом Амдаля»: https://ru.wikipedia.org/wiki/Закон_Амдала. В реальности к этому ещё добавляются накладные расходы на синхронизации между потоками, поэтому график ускорения даже не стремится к асимптоте, а начинает загибаться вниз.

без информации, что и чем кодируется невозможно ответить

видео, x264

ясн, ну настройки там у тебя не те, маны почитай

это какие не те могут быть?
вроде, кроме задания количества потоков вручную, ничего нет