Какой вариант расшаривания большого и толстого хеша вы бы предпочли и почему?

1) или 3)

$ perl -e 'use strict; use JSON::XS; use Data::Dumper; print Dumper(JSON::XS->new->decode(qq|{"a": "b"}\n\n\x00 govno               |))'
$VAR1 = {
          'a' => 'b'
        };

Кстати, а mmap вполне себе вариант, коль скоро JSON::XS просто плюёт на мусор за границей закрывающей скобки!

А как Вам такой вариант?

mmap_server: https://pastebin.com/7qhYcmpN

mmap_client: https://pastebin.com/byMTnR3W

Cache::FastMmap

«Perl» в тегах отпугнул 92% постеров

Ну так давно известно, не 92, а все 95% людей - совершенно так себе :)

6) API для чтения структуры целиком + очередь на RabbitMQ

F*ck, а Cache::FastMmap какой-то небыстрый: в 3 раза медленнее File::Map'а при сохранении блоба в ключе. Итить.

в 3 раза медленне

File::Map низкоуровневый, быстрее на 1.5 порядка

Полтора не получилось, но то, что ощутимо быстрее - факт. Но для меня осталось загадкой, как быть с разбухающими данными. В смысле, они-то могут хоть год не меняться почти в объёме, но потом вдруг скакануть в размере. Это может произойти в любой момент, а как с этим быть при фиксированном размере map'а?

Если настолько не предсказуемое поведение, то делать два mmap-файла - в одном хранить размер и адрес другого.

Да, но Cache::FastMmap как-то справляется с изменением размеров хранимой структуры... Ну т.е. не создаёт несколько mmap'ов. В идеале я бы вообще использовал shmem ipc, но, как оказалось, оно работает как-то очень медленно, печально и нестабильно, хотя и непонятно, честно говоря, почему.

Cache::FastMmap как-то справляется с изменением размеров хранимой структуры

нет, perldoc Cache::FastMmap

One consequence of this is that you cannot store values larger than a page in the cache at all. Attempting to store values larger than a page size will fail (the set() function will return false).

shmem ipc

другой вариант: unix socket

shared memory в nginx

Кстати, да, я этот кусок текста прочитал несколько раз, а потом и другие куски текста на ту же тему, но я так и не понял, что вообще у него там за страницы такие. Я знаю страницы памяти страничной адресации, которые по-моему 4К, либо 4М в зависимости от значения одного бита в таблице страниц (huge page и обычная). Но что за страницы такие в Cache::FastMmap'е - непонятно.

На Unix socket'ах сделал «управляемый командами сервер», но что-то не не летает, потому и решил отказаться. Может, вернусь к сокетам, сделав протокол не универсальным, а то у меня он сейчас прямо под отладку через socat сделан, слишком «гуманный» интерфейс :)

я этот кусок текста прочитал несколько раз, а потом и другие куски текста на ту же тему, но я так и не понял, что вообще у него там за страницы такие

разуваем глаза https://metacpan.org/pod/Cache::FastMmap#PAGE-SIZE-AND-KEY/VALUE-LIMITS