Как понять, почему исчезает запущенное приложение?

dmesg

И systemd ещё, кстати. Он как минимум скажет, с каким кодом выходит процесс.

Приложение может течь и убиваться OOM-киллером. Может ещё какая системная паника, или самая обычная, вроде index out of range.

Посмотри выхлоп dmesg.

Запусти через bash-скрипт:

#!/bin/bash
your_app &> run.log
echo $? >> run.log

Падает с сегфолтом небось.

а процесс вотчер тогда чего умирает?

можешь уточнить такой момент: у тебя умирают и процесс и вотчер?

если да, то как именно они запущены.

У меня умирает и процесс и вотчер. Умирают ли они одновременно - и связаны ли их выключения между собой - мне не известно.

Процесс запускаю так:

nohup ./myProgram &

setsid process_watcher --command myProgram  --to mymail@gmail.com --log --interval 1 --watch-new  >/dev/null 2>&1 </dev/null

Ты пробовал запускать нормально, а не так?

так ты его атачишь к программе, которая умирает и вот.

уж если так хочется, вотчеру делай nohup, а myProgramу - setsid

Так вотчер должен всё равно висеть, постоянно, с параметром --watch-new, разве нет?

есть вариант: запусти сперва какую-нибудь зависающую программу(просто тупо main() { while(1) {} }) с nohup а туда через setsid заатач сперва myProgram, а потом вотчер.

туда через setsid заатач

УПРЛС?

Аноним прав, запусти нормально, хоть в железной консоли, хоть в screen. И посмотри, чем дело кончится, и какой код возврата.

Вообще аноним имел в виду запуск в качестве сервиса через systemd. screen, впрочем, тоже сойдёт для разовой диагностики. Но вообще в dmesg надо смотреть, будь то OOM killer или сегфолт.

Товарищи, спасибо всем за ответы.
Давайте будем по-порядку делать.
Сейчас я запустил отдельно процесс и отдельно вотчер в разных screen безо всяких извращений.
Жду результата (возможно, долго) и отписываюсь сюда и пробуем остальные варианты.

Я начал пользовать process watcher

Вместо использования всякого сомнительного говна на питоне разреши процессу кидать корку.

Затем используй gdb app core твоего процесса и дай команду bt full, для получения бактрейса.

Не уверен, что приложение на Go кинет корку в случае паники.

https://github.com/golang/go/issues/4959

А что делает процесс получив segfault?

Пока сдох только процесс вотчер:

 Started: Tue, Mar 06 15:33:06
 Memory (current/peak) - Resident: 11,404 / 11,404 kB   Virtual: 506,520 / 506,520 kB
dTraceback (most recent call last):
  File "/usr/local/bin/process_watcher", line 165, in <module>
    for pid in process_matcher.matching(new_processes):
  File "/etc/process-watcher/process/__init__.py", line 237, in matching
    if self.matches(pid):
  File "/etc/process-watcher/process/__init__.py", line 222, in matches
    comm = f.read().rstrip()
ProcessLookupError: [Errno 3] No such process

Ну, это похоже на какие-то его личные проблемы, не связанные с наблюдаемым приложением.

видимо, да. Ладно, забудем про него.
Пока жду крушения процесса, посоветуйте что-то удобное для мониторинга процессов и уведомлений при падении?

strace ?

systemd.service