Не выставляется максимальное разрешение

Проверял через thunderbolt подключая к макбуку, всё работает нормально.

А эта видеокарта такие разрешения в принципе поддерживает?

Кабель DP комплектный от монитора? Если да, то можно еще попробовать понизить версию DP в настройках монитора, с 1.4 до 1.2, помогало с этим конкретным монитором.

По спецификации даже чуть больше поддерживает. DP 1.4 как на мониторе.

Комплектный. 1.2 даже в теории не может вытянуть это разрешение.

На 1.2 из настроек пункт герцовки вообще пропадает.

В этих теориях везде 5120×2880, для 5120x2160 всё-таки поменьше пропускная способность нужна; а по факту мой леново упорно отказывался работать с выставленным на мониторе 1.4, запускался только с 1.2, вот только я и правда не помню, сколько в итоге частота получалась.

P.S. по крайне грубым подсчетам, исходя из требуемой пропускной способности для 3840x2160x60 и 5120x2880x60, для 5120x2160x60 нужно 16.72Гбит/c, что меньше максимума у DP 1.2a (17.28).

Я попробовал выставить 1.2. Герцовка пропала из настроек. По скорости курсора осталось 30герц.

попробуй поставить актуальные версии ядра и месы, в графическом стеке линукса постоянно что-то пилят. Если баг не пропадет - напиши в багтрекер месы