у меня такое было, когда второй монитор подключал.
разрешение по иксу стало больше двух тысяч, отвалилось dri, все переключилось на программный рендеринг, и ясное дело, тормозило
Что интересно - если просто запустить игру (тестил на экстрим тукс рэйсере), то она тормозит. Но если запустить игру, переключить на консоль и обратно, то тормоза исчезают (правда почему-то появляется курсор в центре экрана...).
Было такое на xorg-server 1.6.3, причём сразу после запуска всё было нормально, а часов через 10 процесс X стабильно жрал 70-80 процентов CPU в простое. Решал перезапуском иксов время от времени (откатываться было лень). С апгрейдом до 1.6.4 проблема пропала.