xlib, frameless window

Такое точно делается через Qt. Пример идет с qt3 (ищи в гугле tux.cpp).

Как такое сделать кроссплатформенно на чистом xlib не знаю.

Ох народ, ну почему Xlib? Почему не использовать SDL/Qt/whatever? Это
в образовательных целях? По теме:
Это зависит от WM и достигается через атомы этого WM.
-----------------------------------------------------
Atom atom = None;
const char* atomName = "_MOTIF_WM_HINTS"; // motif compliant
const char* atomName = "KWM_WIN_DECORATION"; // kwm
const char* atomName = "_WIN_HINTS"; // gnome

// получить атом WMа
if((atom = XInternAtom(display, atomName, True)) != None){
// заполнить зависимую от WM структуру
// и вызвать XChangeProperty для окна
}
-----------------------------------------------------
В том же SDL - вызов SDL_SetVideoMode с флагом SDL_NOFRAME и все.
Не понимаю, что есть ограничения и использовать можно только Xlib
напрямую?

> Ох народ, ну почему Xlib?

Так надо :)

Принцип понятен. Вот только конкретные детали неясны, ну ладно, почитаем сорсы.

MWM hints - это правильное направление. Как их выставлять, а также константы посмотри в init.c и rxvt.h из исходников rxvt-unicode.