agpgart - поддержка собирается в ядре.
mesa - GL библиотека, которая нужна для 3d. Не полностью совместима с
GL от nvidia (точнее наоборот :) Как ставить драйвера для nvidia есть
на их сайте.
Зато ati как раз mesa жрет прекрасно.
Так что собираешь ядро, ставишь драйвера и не мучаешься.
P.S. Mesa отдельно от X ставить не рекомендуется, ибо она входит
в их состав - та, что отдельно, это больше для обкатки.
