Xserver есть, но он не занимается выводом графики для маковских приложений. Она работают через свою собственную подсистему: https://en.wikipedia.org/wiki/Quartz_(graphics_layer). Xserver для совместимости с X приложениями, выводит все через Core Graphics.