antialiasing xfce для окон

Не слышал о каких-то утилитах для этого. Согласен, что сильно не хватает. Как вариант - включить тени и установить тему для оконного менеджера с менее скругленными углами (например, bluebird) - тогда не так заметна проблема будет. Можно еще поискать темы, где «лесенка» на углах окон не настолько выражена (axe rounded и т.д.).

А вообще - тема самому интересна очень.

Это особенность движка оконного менеджера. Решается темами с углами, либо сменой wm на какой-нибудь другой, вроде emerald или mutter.