Как работаю VPN приложения, в крайне общем виде

Почитай про tun и tap интерфейсы. Если кратко — создаётся виртуальное устройство, с которыми взаимодействует программа предоставляющая vpn, может писать туда пакеты и читать их оттуда.

Начните с ISO/OSI

В крайне общем виде VPN работает как второй сетевой интерфейс, в который отправляются и из которого принимаются определённые сетевые пакеты.

При отправке пакета в интерфейс VPN реальный сетевой пакет инкапсулируется (помещается) внутрь пакета данных соответствующего протокола VPN, пакет протокола помещается в TCP или UDP пакет и в качестве адресов отправителя / получателя указываются внешние IP адреса VPN сервера и клиента.

При получении пакета VPN сервер или клиент извлекают из пакета данных VPN протокола переданный пакет.

В остальном всё согласно точно таких же принципов, как работает и с одним интерфейсом в системе.

Создай впн сетку при помощи wireguard, он прост и максимально близок к системному уровню. Не забудь задать новый wg интерфейс дефолтным гейтом. Наверное, это даст хорошее базовое представление

Вместо настоящей сетевой карты используется виртуальный сетевой интервейс, все пакеты которые в обычном случае ушли бы в сетевую карту, уходят в него (ну или не все пакеты, как и у любого другого сетевого интерфейса он участвует в маршрутизации, может быть default gateway, может принимать только пакеты из своей подсети и т. д.) и через специальные API читаются VPN-клиентом. Он в свою очередь их как-то трансформирует (шифрует, сжимает, добавляет свои заголовки и т. п.) и через обычное API сокетов шлёт уже в настоящий сетевой интерфейс (хотя технически можно сделать и VPN over VPN правильной маршрутизацией).

В принципе что там делает VPN клиент это чёрный ящик, он может хоть на принтере содержимое пакетов печатать вместо отправки по сети, чтобы пользователь потом прицепил их к почтовому голубю. Это тоже будет работать (если не думать о таймаутах).