Нужен альтернативный аллокатор для контейнеров

Я подробностей не помню, но александреску писал свой small object allocator. Попробуй на него посмотреть.

Но из-за фрагментации данных в куче стандартный аллокатор не отдает ОС память.

Пробовал вызывать malloc_trim(0)?

https://github.com/jemalloc/jemalloc/wiki/Background#intended-use

jemalloc is a general purpose malloc(3) implementation that emphasizes fragmentation avoidance and scalable concurrency support

As an extreme example, arenas can be used as pool allocators; i.e. an arena can be used for general purpose allocation, and then the entire arena destroyed as a single operation.

Здесь можно взять монолитный аллокатор, может поможет. В C++17 оно должно быть из коробки.

Ну и в boost тоже есть, можно и их посмотреть.

jemalloc, насколько я помню, ещё очень давно начал использовать Firefox. После чего он перестал жрать RAM и стал потреблять куда меньше памяти, чем Chrome. До перехода на jemalloc было наоборот.

jemalloc, boost, tbb

Тоже голосую за jemalloc. У меня растишка на нем быстрее на 30-35%, где как раз много создается мелких объектов, но они краткоживущие.

Есть ли какие-нибудь готовые аллокаторы для таких случаев? Или надо писать свой велосипед?

Тут все зависит от природы объектов и их жизненного цикла. Во многих ситуациях может быть уместен memory pool. Особенно если эти объекты одинакового размера, тогда фрагментации можно вообще избежать.

Если разных размеров объектов много, то имеет смысл попробовать другой аллокатор уровня malloc, такой как jemalloc

А есть доказательства, что фрагментация имеет место быть? Статистику аллокатора распечатали?

И я вот не понял. Наверное, память все же отдается, просто не может выделить большой кусок? Или что тогда?

А есть доказательства, что фрагментация имеет место быть? Статистику аллокатора распечатали?

Доказательств нет. Просто понавыделяли разных объектов на 8Гб, потом 95% из них освободили. Приложение как занимало 8Гб в момент пика выделения памяти, так и осталось занимать 8Гб, после освобождения. Не исключаю возможность, что истинная причина проблемы в чем-то другом.

Действительно похоже на фрагментацию, но лучше все-таки посмотреть malloc_stats/malloc_info или что там есть в вашем аллокаторе

Может это банальная утечка памяти, или приложение на место освободившейся памяти резко грузит код и данные из смапленных файлов (такое весьма вероятно если система работала на пределе).

Просто понавыделяли разных объектов на 8Гб, потом 95% из них освободили.

А кто тебе обещал, что должно быть иначе? У тебя ещё 5% объектов в памяти, и какие страницы они держат ещё тот вопрос.

А вот была бы Java - был бы там Memory Compaction

Не парься. Просто используй jemalloc. Фрагментация, которую он не разрулит, исправится swap'ом (почти забесплатно).

А вот была бы Java - был бы там Memory Compaction

С непредсказуемыми остановками работы программы. К тому же GC для обеспечения той же скорости работы программы нужно в 4-6 раз больше памяти...

гугли про realtime gc. там только предсказуемые остановки.

Ну не только аллокатор помог, ещё и тюнинг под него. Был там у них какой-то проект по поиску впустую расходуемой памяти. Среди прочего были забавные баги типа выделения множества буферов по 4100 байт, которые аллокатор превращал в 8192. Подкрутили размеры, чтобы в 4096 влезало, и на пару процентов общее потребление памяти уменьшилось.

А вот была бы Java - был бы там Memory Compaction

И боксинг.

был бы там Memory Compaction

и GC, позволяющий забороть часть утечек

Не парься. Просто используй jemalloc

Карго-культ до добра не доведет. Нужно четкое понимание, какой реальный оверхед от фрагментации и как он меняется с jemalloc. А то может быть, что основная проблема вообще не в ней, или достаточно всего лишь подтюнить MMAP_THRESHOLD

Или наоборот, фрагментация настолько суровая, что только memory pool по-настоящему поможет

Помню похожую тему. Вылечилось вызовом malloc_trim и жгучей ненавистью к аллокатору. Qt Linux memory leaks

Прощай, кеш-локалити.

Прогони под валгриндом. Если нет утечек то проблема скорее всего мнимая.

Memory Compaction
И боксинг.

Отлично. Будет чем развлечся во время затяжных GC пауз.

Всем спасибо. Просто переход на jemalloc дал весьма неплохие результаты.