Какой самый быстрый способ подключения к локальному дисплею?

Тебя интересует пропускная способность или задержка или скорость подключения или что?

Если пропускная способность, то самый быстрый по тестам SPICE.

RDP будет побыстрее VNC работать.

Пробовал x11vnc, но он что-то медленный.

как измерял «медлительность»?

А его можно использовать вне виртуалок qemu? Есть истории успеха, как это заводить?

https://gitlab.freedesktop.org/spice/x11spice/

К существующей сессии - rustdesk. Сервер для удалённых подключений - nomachine, но у него дерево каталогов с настройками в нестандартном месте, надо руками пилить настройки xkb и т.п. - он нпвраллелен иксам в дистрибутиве.

просто медлеено работает, обычный tightvnc быстрее

просто медлеено работает, обычный tightvnc быстрее

Ты что-то путаешь. x11vnc поддерживает кодирование картинки Tight

Rdp, если сервер - винда.

Самый быстрый это sunshine/moonlight.

Если сравнивать с x11vnc и подключение к физической сессии по rdp то монопенисуально. А если сессия удаленная то turbovnc будет быстрее чем xrdp. Хотя последний будет более удобный.