Чёто афтар там курил.

На следующем пункте советую отказаться, так как будет запускаться xenodm (местный дисплейный менеджер) и загружать нам только базовую оболочку с иксами, что не очень удобно.

И чуть ниже

rcctl enable xenodm

Что предыдущий пункт и сделал бы, если бы он ответил «yes». ;)

В общем, пользуйтесь лицензированными F*ckU.

:X server already running on display :0

Ты там случайно не startx пытаешься запустить?

Установка OpenBSD обычно прямая как валенок. Даже не знаю, что там можно так запороть.

Начал бы с rcctl stop xenodm / rcctl disable xenodm / vi .xinitrc прописал exec startxfce4 и запускал командой xinit из tty.

вылазит ошибка :X server already running on display :0 Floating point exception (core dumped).

Где вылазит? Покажи больше контекста, покажи что и как запускаешь.

Скорее всего .xsession с

exec ck-launch-session startxfce4

https://www.openbsdhandbook.com/graphical-environments/#xfce

RTFM)