В очередной раз X-сервер с клиентом не перепутаны?
Если имеется в виду действительно сервер, то "man xhost" и,
ессно, см. чтобы вообще был доступ по сетке разрешен
(/etc/hosts.allow и /etc/hosts.deny), или ssh -X ....
Если имеется в виду клиент, то какой?