В принципе падения производительности почти нет, однако виртуалка работает как бы не в реальном времени, и если на хостовой системе запущен процесс, нагружающий ЦП, даже несильно, то виртуальная система будет подтормаживать, причем, не на тяжёлых задачах, а даже при проигрывании mp3, например. Можно пытаться как-то решить, однозначно задавая привязку ядер виртуальных процессоров к реальным, но помогает не очень.
Это всё относится к kvm с qemu, с другими гипервизорами может и лучше, не знаю