Передать сокет между процессами?

Через unix domain socket можно передавать файловые дескрипторы. Поэтому принципиальная возможность есть. Конкретно для nginx не встречал модулей, делающих подобное.

Проблема этого решения в том, что клиент может отправить не только заголовки с Upgrade, но и сразу сообщение вебсокета в надежде, что сервер разрешит Upgrade. nginx в этом случае прочитает всё это разом из сокета и сохранит сообщение во внутреннем буфере, так что при передаче сокета другой процесс не увидит этих данных.

Проще настроить nginx на проксирование вебсокетов.

Кстати, вашему гипотетическому модулю nginx всё равно придётся как-то передать информацию о вебсокете, полученную из заголовков запроса. А также ему придётся решать за вебсокет-сервер, какие приложения/расширения из запрошенных разрешить, какую версию вебсокета сообщить (и тоже это всё передать настоящему серверу). А если вспомнить про wss, то совсем беда.

мне кажется всесильный и могучий эрланг мог бы справиться с этой задачей

Грубо ворвется внутрь nginx и насильно вырвет сокет?

зачем грубо, есть NIF-ы C-ноды например. Концепт чисто теоретически: подсунуть модуль, смотрящий одним концом в эрланг, другим, дающий сокет.

с другой стороны, что такое сокет? слушатель порта в основном

{fd, In, Out}:
                  Allows  an  Erlang process to access any currently opened file descriptors used by Erlang. The file descriptor In can be used for stan‐
                  dard input, and the file descriptor Out for standard output. It is only used for various servers in the Erlang operating system  (shell
                  and user). Hence, its use is very limited.

думаю ничего не мешает в нифе получить фд и заюзать как порт.

это понятный tradeoff, для этого можно и подправить код того, кто получит сокет.

Главное что бы никаких буферов не осталось в user space отдающего процесса.

В целом решение задачи понятно и скорее всего от неё проще отказаться: править nginx слишком бесперспективно для такого.