jabber сервер на raspbian (raspberry pi 3)

Можно, разрешаю. Читать - документацию любимого Jabber сервера. Я бы ставил ejabberd.

я полагаю сначала нужно поднять dns сервер? Потом уже привязать домен с A записями (или srv) к нему? Пока мало что понятно...

А, ну, если нет DNS, то начать, конечно, надо с него.

Есть ли фри варианты dns серверов?

Всмысле? Bind опенсорсный. Или ты о хостинге DNS? Есть у Hurrecane Electric, например. Думаю, и у других контор полно.

.tk

Стоит сначала прочитать у них требования. Например по этому адресу должен быть полноценный сайт, а не заглушка. Как оценивается у них полноценность совершенно непонятно, поскольку отбирают домен совершенно рандомно.

настроил, все вроде ничего, ejabberd работает.
Добавляю друга с xmpp.jp и вот что в логах:

=INFO REPORT==== 2017-09-21 07:55:30 ===
I(<0.420.0>:ejabberd_s2s:404) : New s2s connection started <0.423.0>

=INFO REPORT==== 2017-09-21 07:55:30 ===
I(<0.423.0>:ejabberd_s2s_out:1203) : Trying to open s2s connection: localhost -> xmpp.jp with TLS=true

=INFO REPORT==== 2017-09-21 07:55:33 ===
I(<0.423.0>:ejabberd_s2s_out:1203) : Trying to open s2s connection: localhost -> xmpp.jp with TLS=true

=INFO REPORT==== 2017-09-21 07:55:36 ===
I(<0.423.0>:ejabberd_s2s_out:379) : Closing s2s connection: localhost -> xmpp.jp (invalid dialback key)

Какой такой локалхост? Тебе надо нормальное имя указать. Это во-первых. Во-вторых, валидный сертификат для TLS есть?

PS: https://www.ejabberd.im/invalid-dialback-key