[embedded][системщина] errno=Cannot allocate memory, но памяти достаточно

при монтировании NFS ведь можно отключить опции кэширования? и еще, какой проц? есть ли флэшка чтобы swap на ней забабахать? а еще я слышал про swap через NFS, правда так и не осилил заставить это работать...

кста, не знаю, может поможет, удобно использовать sshfs для расшаривания каталогов с host-pc, сборки в них, работы с ними и т.п.

а еще я извращенец, юзал SAMBA для embedded чтобы файлами обмениваться, но sshfs существенно проще и без проблем

В системе 64 МБ памяти

Committed_AS: 91180 kB

Честно говоря, не понимаю, как у тебя вообще что-то работает и что значат твои слова «памяти достаточно».

У ssh есть явный недостаток - шифрование, когда например нужно простое копирование

а сколько тебе на embedded памяти нужно?

а сколько тебе на embedded памяти нужно?

Сколько нужно мне, я знаю. Сколько нужно ТС - не знаю, но, судя по Committed_AS, ему нужно явно больше, чем у него есть.

оно ведь отключается, не? хз, мне в принципе всегда хватало его производительности даже на 200 МГц ARM926

А какой опцией? Не видел такого

Стандартными средствами отключить шифрование в OpenSSH нельзя. Из рабочих вариантов предлагается накатывать HPN-SSH патч. В большинстве случаев проще рядом иметь rsync.

Возможно, фрагментация.

и еще, какой проц?

PXA270

есть ли флэшка чтобы swap на ней забабахать?

Можно. И бабахал. Но это не решение проблемы. Я хочу, чтобы моя программа как бы стабильно работала.

кста, не знаю, может поможет, удобно использовать sshfs для расшаривания каталогов с host-pc, сборки в них, работы с ними и т.п.

Так у меня для этого nfs же. И шифрование мне тут не нужно. Ну и ядро умеет грузиться по nfs, чего о ssh я на вскидку не скажу.

юзал SAMBA для embedded чтобы файлами обмениваться

Я тоже так делал по первости, пока не осилил nfs.

Ну free же пишет, что достаточно. Ещё, когда я программу «убаюкиваю», она продолжает висеть в памяти. И я могу продолжать её занимать чем-нибудь другим.

Committed_AS

Что это? И почему мне тогда free, top и прочие htop'ы показывают, что половина памяти свободна?

ему нужно явно больше, чем у него есть.

Ну это вообще сборка отладочная. Релизная будет явно худее. Но если проблема не ясна, есть шанс, что она останется и в релизе. Этого и боюсь.

Ну free же пишет, что достаточно

У тебя Committed_AS больше объема памяти - это нормально? Я так понимаю, у тебя включен overcommitment - не лучшая идея для встраиваемой системы.

Ещё, когда я программу «убаюкиваю»

Мде. Описание симптомов, конечно, потрясающе точное. «Вызывать этот скрипт десятки раз, пока не получу ошибку», «убаюкиваю программу». Сколько памяти ты запрашиваешь, когда получаешь ошибку? Какой размер программа имеет в этот момент?

Возможно, фрагментация

Интересно, как это можно проверить? И сделать дефрагментацию? Программе нужно выделить от силы пару мегабайт из свободных 30. Не такой уж и большой непрерывный блок. Да и ядро, ЕМНИП, смежные страницы виртуальной памяти может выделять из несмежных блоков физической.

Committed_AS

Что это?

ахаха, Ъ-ембеддед быдлокодеры в треде, все в машину!

У тебя Committed_AS больше объема памяти - это нормально? Я так понимаю, у тебя включен overcommitment - не лучшая идея для встраиваемой системы.

Если честно, я про это пока вообще не в курсе. Завтра с утра на свежую голову займусь гуглежом.

Мде. Описание симптомов, конечно, потрясающе точное. «Вызывать этот скрипт десятки раз, пока не получу ошибку», «убаюкиваю программу».

Ну извини, код привести не могу. Его много и всё не по делу будет. Да и кто такие простыни читать будет? Про скрипт напишу подробнее. То, что прописано в /proc/sys/kernel/hotplug вызывает ядро при наступлении какого либо hotplug'а. В моём случае - это подключение/отключение usb flash drive в usb-порт. А скрипт уже посылает сигнал программе. Костыльно, но я когда это делал не знал про netlink.

«Вызывать скрипт десятки раз» - это значит сижу и дрючу флешку туда-сюда. Вот такой вот тест-кейз. При получении сигнала программа кое-что делает, требующее выделения-освобождения памяти. И вот однажды память выделяться перестаёт. Вот тут я и наблюдая ошибку в логе. Но программа остаётся жива. С ней я ничего не делаю и в соседней консольке смотрю что же у меня с памятью происходит.

У тебя Committed_AS больше объема памяти - это нормально? Я так понимаю, у тебя включен overcommitment - не лучшая идея для встраиваемой системы.

Если честно, я про это пока вообще не в курсе.

Стань в угол и покрасней. http://www.redhat.com/advice/tips/meminfo.html Documentation/vm/overcommit-accounting

А скрипт уже посылает сигнал программе. Костыльно, но я когда это делал не знал про netlink.

Это как раз не костыльно.

Ну извини, код привести не могу. Его много и всё не по делу будет

Код не нужен, нужно описание того, что он делает.

Вызывать скрипт десятки раз" - это значит сижу и дрючу флешку туда-сюда. Вот такой вот тест-кейз. При получении сигнала программа кое-что делает, требующее выделения-освобождения памяти.

Т.е. описание сводится к «программа не может выделить память», а скрипт, в общем, не причем. Вопросы по поводу программы я уже задал.

Стань в угол и покрасней. http://www.redhat.com/advice/tips/meminfo.html Documentation/vm/overcommit-accounting

Благодарствую. Похоже ситуация проясняется. Завтра как доберусь до железки буду попробовать. А вообще даже и не задумывался, что тут надо что-то подкручивать. Как ни посмотрю во free - вроде запас ещё ого-го.

Вопросы по поводу программы я уже задал.

Почти всегда большая часть занятой памяти - это память под программу. По free в момент отказа это ~ 30-35 Мб. После холодного старта - это примерно 20 Мб. Ничего криминального здесь не вижу.
Перед отказом запрашиваю от силы мегабайта 2.

Почти всегда большая часть занятой памяти - это память под программу. По free в момент отказа это ~ 30-35 Мб

Если эта фраза означает «в момент неудачного запроса на выделение памяти программа занимает 30-35М», то это значение близко к CommitLimit.

т.е.

sudo cat 100 > /proc/sys/vm/overcommit_ratio

решит проблему?

а почему ничего не отваливалось, когда я на 4х гиговой машине гонял 3+ гига данных на процесс, при этом vm.overcommit_ratio не трогал?

и в догонку ответ на мой вопрос:

согласно документации, vm.overcommit_ratio учитывается, только если задействован строгий учёт перезапроса памяти (режим 2 vm.overcommit_memory ).

т.е. на машинах у меня стояло значение vm.overcommit_memory =0, что позволяло выделять памяти пока физическая не закончится?

а ТС нужно проверить значение vm.overcommit_memory и выставить его в 0, или сменить overcommit_ratio в сотню?

sudo cat 100 > /proc/sys/vm/overcommit_ratio решит проблему?

При меньше 100 у меня программа вообще не запускается с надписью «killed».

При 100 стартанула с такой раскладкой

CommitLimit:     61212 kB
Committed_AS:    58808 kB

А потом сюрприз (ещё даже до моих тестов)

terminate called after throwing an instance of 'std::bad_alloc'
  what():  std::bad_alloc
Segmentation fault (core dumped)

а ТС нужно проверить значение vm.overcommit_memory и выставить его в 0, или сменить overcommit_ratio в сотню?

vm.overcommit_memory у меня по дефолту был 0. Выставил 2.

т.е. на машинах у меня стояло значение vm.overcommit_memory =0, что позволяло выделять памяти пока физическая не закончится?

Кажется даже больше физической.

std::bad_alloc

Кстати, не понятно откуда это взялось. Конпиляю с -fno-exceptions.

Кстати, не понятно откуда это взялось

new всегда для положительных чисел? всегда при попытке выделить память её достаточно?

вод бы всё же стоило вскрыть. а то очень чудно получается. при vm.overcommit_memory = 0 у вас было около 90М памяти выделено на 64М физики

new всегда для положительных чисел? всегда при попытке выделить память её достаточно?

Думаю что да.

вод бы всё же стоило вскрыть. а то очень чудно получается. при vm.overcommit_memory = 0 у вас было около 90М памяти выделено на 64М физики

Я кажется немного разобрался: у меня памяти не хватает в момент форка. Объём виртуальной памяти как бы удваивается и тут происходит отказ.

Вот ещё нашёл по теме, практически моя ситуация: https://bugreports.qt.nokia.com/browse/QTBUG-17331

sudo cat 100 > /proc/sys/vm/overcommit_ratio

решит проблему?

Нет. Надо просто отключить overcommit.

Надо просто отключить overcommit

а это позволит разве иметь:

Committed_AS: 91180 kB

при

MemTotal: 61212 kB

?

Нет. Но высокий overcommit ratio может только замаскировать проблему (что выйдет боком впоследствие).

Отключенный overcommit накладывает ограничения, но дает предсказуемость.