Как в linux запустить процесс, указав, что при попытке выделить более 512 MB памяти его надо сразу убивать?

Скрипт-демон на баше

limits?

Это указывается не для отдельного процесса, а ядру в целом.
Впрочем,ulimit

Не, ну для группы/пользователя можно избирательно задать.

cgroups же по памяти

ulimit -m 524288