Откуда берётся разница в скорости языков

Говорят, что Java и Питон тормозят, а C++ быстрый. Естественно, одних слухов недостаточно, но ведь неспроста же они возникли. Собственно, суть вопроса: на мой взгляд (неискушенный), в программе (если абстрагироваться от ресурсов системы) может тормозить только алгоритм. Но корявый алгоритм можно использовать где угодно и замедлит он тоже что угодно. Откуда тогда берётся разница в скорости работы программ на разных языках?