Не достаточно свободной памяти для выполнения операции

И процесс не 32х разрядный, да?

да, не 32x разрядый

root@1c729:~# uname -a
Linux 1c729 5.10.0-19-amd64 #1 SMP Debian 5.10.149-2 (2022-10-21) x86_64 GNU/Linux
root@1c729:~# 

root@1c729:~#  ps aux --sort -%mem | awk '{print $6/1024 " MB " $3"% " $11}' | head -n10 | grep rphost
2272,16 MB 30.6% /opt/1cv8/x86_64/8.3.25.1374/rphost
root@1c729:~#

root@1c729:~#  top -b -n 1| grep [r]phost|head -10
1080013 usr1cv8   20   0 2936008   2,2g 301524 S   0,0  46,1 356:20.48 rphost
root@1c729:~#

А ulimit -a под тем юзером чего скажет?

Оставшиеся идеи:

1. Стоит лимит через systemd-run.

2. Используются cgroups.

Максимальный объем памяти рабочих процессов – это объем совокупной памяти, которую могут занимать рабочие процессы (rphost) на текущем кластере. Если параметр установлен в 0 (ноль), то занимает 80% оперативной памяти сервера. Если задано конкретное число, то столько, сколько будет указано в байтах, а -1 (минус один) - эта настройка применяться не будет, т.е. не ограничивать максимальный объем. Если будет превышение, то будет задействован своп ОС и т,д., работа будет замедлена, но не остановлена https://softonit.ru/blog/articles/1c/memory1c/

В рассматриваемом случае Максимальный объем памяти установле в 0, а значит допустимо:

5051864-20%=4041491.2

Т.е. процесс сам себя ломает?

Да.

1С не хватает 4Gb памяти. Вероятно ошибка в коде 1C. Добавив физически RAM (и/или разрешив SWAP), 1С просто использует ее всю и ошибка настанет, но позже.

Спасибо.

Это объективно очень мало для 1С. Для сервера с одной базой на типовой конфигурации и десятком пользователей, я бы сказал, 16 Гб это минимум. Но если спросишь техподдержку, то они могут назвать цифры и выше.