А какой дистрибутив? И вообще - это не проблема vmware, настройте x так, как будто у вас карта vga и соотв. монитор - значения вообще не имеет. А потом уже можно всем остальным заниматся. У меня сразу запустилось на 2-х машинах, так что копайте в XF86Config
