http://www.ptlsim.org/index.php
Говорят, что моделирует x86/x86-64 очень аккуратно, с динамическим изменением уровня детализации.
PTLsim is licensed under the GNU General Public License, version 2
Я лично про него раньше не слышал, поиск на LOR-е - тоже.