Да, в Xorg'е работает mpv с vdpau, также (вроде) работает vaapi (правда посредством libva-vdpau-driver, то есть, как я понимаю, по сути тот же vdpau). В вейланде ничего из этого работать не хочет.
Я слабо представляю как там что, но пока гуглил, нашел какой-то пост про то, что xwayland не умеет в vdpau. Вообще, я надеялся что гугл выдаст мне ссылку на простой гайд, но получил только малопонятной инфы =(
В Mesa снова добавляли VA-API трекер (после того как удалили), и VA-API на radeon должно работать без переходника. Но вот как дело обстоит с Wayland, я не знаю.
А можно забить черт на вяленды-шмяленды, поставить одним пакетом проприетарщину, перезагрузится и параллельно с eve online смотреть стримы на твиче или на ютубе в 1080p60FPS!!1111
mpv имеет ключ сборки включающий вайланд, в режиме xwayland vdpau работает, vaapi тож должно работать, omx тоже я полагаю.
Ты укажи как ты запускаешь wayland, тупо weston из терминала, или там сессию гнома3.