А XF86Setup, XConfigurator не пробовал запускать?

PROBOVAL

Пробовать то пробовал, но у меня видео карта особенная, я драйверы для нее качал, если я захожу в эти конфигураторы, то они мне все настройки сбивают для карты....

А нельзя руками забить в XF86Config?

По идее, xconfigurator тебе должен прописать по строке на каждый видеорежим, в т.ч. на 1024х768. Потом дезешь в конфиг, находишь кусок, соответствующий твоему X-server`у ( вероятно, accel ), в строчке типа "640x480" "800x600" etc на первое место ставишь нужный режим, где-нибудь повыше пишешь DefaultColorDepth 16. Должно работать