Видео сервер. Отключить кеширование

Что-то не верится....

Кеш урезается в первую очередь при нехватке памяти для задач. Если памяти нет, то ее кто-то сожрал ( но не кеш ).

Возможно есть утечка памяти. через ps/top можно посмотреть кто все сожрал.

А нет ли какой-нибудь tmpfs в которую что-нибудь постоянно дописывается ?

Утечки нет, tmpfs тоже нет. Есть Debian 7

Все приложения регулярно перестартовываются. Поэтому я и заметил, что памяти не хватает, поскольку одно из приложений не смогло перезапуститься.

Это какая-то чушь. Покажи вывод: ps axu, free -m

Плюс выставь в sysctl.conf параметр vm.swappiness = 0

А, свапа нет, последнее тогда без толку, хотя хуже не будет.

cat /proc/mounts тоже

Бред не бред... давайте посмотрим. Вот начальное состояние. Сейчас запущу процесс без очистки кеша, вечером выдам результаты

:~# free -m
             total       used       free     shared    buffers     cached
Mem:          3862        197       3664          0         55         56
-/+ buffers/cache:         84       3777
Swap:            0          0          0
:~# sysctl vm.swappiness
vm.swappiness = 0
:~$ cat /proc/mounts
rootfs / rootfs rw 0 0
sysfs /sys sysfs rw,nosuid,nodev,noexec,relatime 0 0
proc /proc proc rw,nosuid,nodev,noexec,relatime 0 0
udev /dev devtmpfs rw,relatime,size=10240k,nr_inodes=492759,mode=755 0 0
devpts /dev/pts devpts rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000 0 0
tmpfs /run tmpfs rw,nosuid,noexec,relatime,size=395476k,mode=755 0 0
/dev/disk/by-uuid/7feef59c-a355-4ca5-a66b-e6cf4f001b24 / ext4 rw,relatime,errors=remount-ro,user_xattr,barrier=1,data=ordered 0 0
tmpfs /run/lock tmpfs rw,nosuid,nodev,noexec,relatime,size=5120k 0 0
tmpfs /run/shm tmpfs rw,nosuid,nodev,noexec,relatime,size=790940k 0 0
rpc_pipefs /var/lib/nfs/rpc_pipefs rpc_pipefs rw,relatime 0 0
/dev/sda2 /video ext3 rw,relatime,errors=continue,user_xattr,acl,barrier=1,data=ordered 0 0

может стоит попробовать покрутить vm.dirty_bytes и vm.dirty_background_bytes

Утечки нет, tmpfs тоже нет.

А это что тогда?

tmpfs /run tmpfs tmpfs /run tmpfs rw,nosuid,noexec,relatime,size=395476k,mode=755 0 0
tmpfs /run/lock tmpfs rw,nosuid,nodev,noexec,relatime,size=5120k 0 0
tmpfs /run/shm tmpfs rw,nosuid,nodev,noexec,relatime,size=790940k 0 0

Вот как минимум больше гига сюда может уходить. Ладно еще /run, но вот shm запросто используется приложением, которое пишет видео.

Ну и конечно же нужно смотреть выводы free и ps во время ситуации «нехватки» памяти.

На серваке свопа нет за ненадобностью

не твоё ребячье дело решать, нужен ли он линуксу. Свап сделай и в sysctl добавь vm.swappiness=0

не твоё ребячье дело решать, нужен ли он линуксу. Свап сделай и в sysctl добавь vm.swappiness=0

Бред. Молчите, если не знаете, о чем говорите, анонимус.

Регистрация на форуме не признак ума или знаний, это лишь возможность трындеть в толксах о херне, что вы сейчас и демонстрируете

http://linuxatemyram.com

Ещё можно аватарку поставить и звёздочки рядом с ней нафлудить

Признак «ума» - ваш совет включать своп при любом случае и ставить vm.swappiness в 0, а также глупая агрессия и невозможность уловить смысл, что «анонимус» в том контексте было обращение.

Моя агрессия всегда направлена лишь на болтунов и бездельников, коим вы и являетесь, судя по созданным вами темам.

Искрометный троллинг на лоре, всё понятно.

ТС, ждем данных во время возникновения проблемы. Но дело явно не в кеше ядра Linux. Скорее всего какие-то процессы сбора или конвертации видео ваши и пожирают оную.

троллинг

вы же на самом деле знаете значение этого слова, а тут употребляете его не к месту с каким-то особым умыслом?

Бред-бред, у самого сервер видео пишет и никаких проблем. Проблема у тебя явно где-то еще.

df -h еще покеж.

Как обещал, выдаю инфу:

$ free -m
             total       used       free     shared    buffers     cached
Mem:          3862       3732        129          0         28       3412
-/+ buffers/cache:        291       3570
Swap:            0          0          0
:~$ df -h
Файловая система                                       Размер Использовано  Дост Использовано% Cмонтировано в
rootfs                                                   9,2G         1,6G  7,2G           19% /
udev                                                      10M            0   10M            0% /dev
tmpfs                                                    387M         420K  386M            1% /run
/dev/disk/by-uuid/7feef59c-a355-4ca5-a66b-e6cf4f001b24   9,2G         1,6G  7,2G           19% /
tmpfs                                                    5,0M            0  5,0M            0% /run/lock
tmpfs                                                    773M            0  773M            0% /run/shm
/dev/sda2                                                908G          29G  834G            4% /video

Ну, всё кешировано, это нормально. А теперь покажи ошибку Out Of Memory при запуске процесса (энто в dmesg обычно)

Ладно, беру свои слова обратно... может и linuxatemyram.com, но это не вызывает Out Of Memory для других приложений.

Единственно все таки не понятно насколько нужно кеширование и забивание оперативной памяти для видео сервера. Т.е. по сути я должен получить видео с камер и сразу складывать его на жесткий диск. Так же при конвертации видео данный кеш бесполезен, поскольку он забит не тем видео, которое я сейчас конвертирую - или тут 4.2...?

Ваше мнение: насколько полезно/вредно для cpu и hdd если сбрасывать кеш раз 10 сек, например?

Ваше мнение: насколько полезно/вредно для cpu и hdd если сбрасывать кеш раз 10 сек, например?

Вредно для производительности, т.к. бесполезные операции. Не нужно сбрасывать кеши. Вы же видели linuxatemyram.com. Память свободна, ну и что, что там кеш лежит. Для перезаписи памяти, не надо её предварительно чистить. Хранимые данные в памяти, нужные или нет, никак не мешают. Регенериуются всё равно все ячейки.

А вот тут вы ошибаетесь:

Т.е. по сути я должен получить видео с камер и сразу складывать его на жесткий диск. Так же при конвертации видео данный кеш бесполезен

Даже если не как кеш, то скорее как буфферная память вам нужна в любом случае. А кеш лишь ускоряет операции, заранее держа в памяти то видео, которые вы конвертируете.

Короче не смотрите на значения памяти с буферами и кешем никогда и не сбрасывайте кеш. Нет в этом нужды.

Единственно все таки не понятно насколько нужно кеширование и забивание оперативной памяти для видео сервера. Т.е. по сути я должен получить видео с камер и сразу складывать его на жесткий диск.

Если файловая система смонтирована в режиме async (это по дефолту), то данные сбрасываются на диск не сразу, а пачками, для оптимизации случайного I/O в последовательное. Как часто ядро сбрасывает данные настраивается в sysctl (vm_* и подобные параметры). Так что за тебя уже подумали, не парься.

Если память понадобится - кеш будет очищен.

Ваше мнение: насколько полезно/вредно для cpu и hdd если сбрасывать кеш раз 10 сек, например?

Не надо плодить лишних сущностей, оставь всё по умолчанию. Кеш сбрасывают для снижения его влияния на бенчмарки и т.п. В остальных случаях - вредно.

Ок. Спасибо