Как вариант: настроить в маздае. После чего в Линуксе запустить xvidtune (если нет, взять с www.freshmeat.net). Настроить картинку и сказать, чтобы xvidtune показал modeline. Записать его на бумажку, после чего прописать в XF86Config. Рестартовать иксы.