1. Убедится, что в windows и linux используются одинаковые modeline'ы. В Линуксе их можно посмотреть в логах и конфиге, под виндой, к примеру PowerStrip'oм.
2. Если разные, настроить линуксовый конфиг, чтоб были одинаковые.
3. Если не помогло, то запустить Xvidtune, "подвинуть" изображение и записать полученный Modeline в конфиг.
P.S. первые 2 пункта в принципе можно опустить.