GTK?

Я не знаю, но может попробывать popup. Он как раз так выглядит.

gdk_window_set_decorations

а это от wm зависит.у меня например в afterstep`e все окна в принципе с кнопками :)