Можно ли как-нибудь узнать, что сжирало всю оперативку?

У top есть сортировка, в т.ч. по rss

Atop тем более покажет жирных

А как там историю открыть?

collectd запусти, пускай историю пишет

попробуй zabbix локально держать или какой-нибудь другой мониторинг с записью истории на диск

Поставь atop и демона запусти.

psacct вроде для этого

У atop есть лог

atop -r /var/log/atop/atop_20180610 -b 18:30

Только чтобы он с адекватной частотой его снимал нужно в /etc/default/atop частоту записи поправить с раз в 300 секунд на хотя бы раз в 10 секунд.

через десяток секунд оперативка освобождается как будто ничего и не было

А в syslog посмотри, кого там oom пристрелил.