Вот я раньше всегда ставил серверы без X. А вот сейчас думаю: они ведь в принципе не мешают? Всё-таки было бы прикольно делать удалённо графики Load Average, загрузки сети и т. д. через ksysguard, запускать через SSH X Forwarding многие вещи и т. д. И если пришёл в серверную, ты всегда на месте сможешь протестить сайты, которые не работают в lynx/links/elinks/w3m, а только в графических браузерах. Серверные дистрибутивы от Novell и RHEL (по дефолту, можно в процессе установки убрать) AFAIR ставят X. Собственно почему не стоит ставить X?