Исправление Pinkbyte, (текущая версия) :
Да, это лучше делать через cgroups
Пример для CentOS. На свой дистр я надеюсь нагуглишь сам.
Что прикольно - можно ограничить по памяти все процессы с определенным именем, не важно от какого пользователя они запущены. Очень нужная штука в случае web-сервера, где virtualhost-ы раскиданы по разным UID
Исходная версия Pinkbyte, :