Какой самый некостыльный способ ограничить количество инстансов приложений в Java

lock-файл в /tmp?

Самый очевидный способ. Проблема появляется тогда, когда приложение внезапно умирает, забыв удалить лок файл. Больше ни одного инстанса запущено не будет до перезагрузки, либо пока пользователь сам не удалит файл, а это проблема.

Лок-файл с PID внутри?

Присоединяюсь. Вот и все обсуждение.

Годится.

Самый элементарный - файл с pid внутрях. Хотя я видел вариант, когда при старте открывался сокет на определенном порту. Соотв. второй процесс по эксепшену просто вываливался.

Я бы через pid-файл сделал. Как альтернатива - можно при старте слушать определённый порт, хотя только для того, чтобы разрешить один инстанс - это оверкилл.

С одной стороны оверкилл, с другой - нет проблем с тем, что файл не вытирается при непредвиденной остановке jvm. По kill -9 или oom.

pid нельзя использовать - это ненадёжно (as in не запускаемся потому что есть совершенно левый процесс с таким pid).

Самый очевидный способ - это лочить файл через flock(2) c LOCK_EX|LOCK_NB - второй процесс который захочет захватить файл получит EWOULDBLOCK, а при завершении процесса захватившего блокировку, включая падение, оная будет автоматически освобождёна. Другой вариант - семафоры (POSIX, SysV), но надо внимательно прочитать об особенностях их поведения.

Думал об этом варианте, но он мне кажется каким-то оверкостыльным :)

Ну, я там уже выше отвечал, что с одной стороны конечно оверкилл, а с другой 1) кроссплатформенно 2) нет неясности, с неудаленным файлом (kill -9, oom)

Ну и обычно все равно наружу торчат какие то порты, веб, jmx etc. Можно их проверять.

Отдал бы эту задачу на откуп инит-у, а он уж пусть как умеет так и выкручивается.

лочить файл через flock(2) c LOCK_EX|LOCK_NB

Плюсую. Только один минус: шибко умный юзер может удалить файл и тем самым позволить запустить ещё один процесс. Хотя это можно объявить фичей.

Бред какой. «Шибко умный юзер» может обойти абсолютно любой механизм блокировки запуска нескольких копий процесса. И пусть обходит если ему приспичило, цель механизма совершенно другая.