Как проще всего временно ограничить объем ОЗУ

Загрузиться с mem=666M в параметрах ядра.

нет, мне нужно в течении одной сессии

man ulimit

Подменить malloc для любителей велосипедов.

а если в файле /etc/security/limits.conf выставить параметр memlock на определенного юзера

cgroups

Причём mlock() к вопросу ТС, а?

спасибо, в моем случае именно ulimit помог

Нахрена писать было? Мог же отъесть примонтировав tmpfs. А вообще man cgroups.

Виртуалка не катит? Там можно сколько угодно, хоть 16 МБ, хоть под завязку аж со свапом.