tail и мультипроцессы

Наверное, лучше тебе встроиться между программой, генерирующей логи и файлом. tail вносит дополнительную нагрузку.

tail -f ./filename | grep --line-buffered parser.py

Это?

Открой в парсере файл напрямую и мониторь дескриптор epoll'ом. Таким образом скорей всего даже в один поток успеешь, если грамотно все коллбеки расставить.

Открой в парсере файл напрямую и мониторь дескриптор epoll'ом.

Таки файл и сразу таки epoll'ом? Это работать не будет, poll семантики для обычных файлов нет. В лучшем случае поможет inotify.

при большой нагрузке все это начинает отставать

на сколько? И какое время отставания считается допустимым.

Скрипты вида «tail -f ./filename | grep parser.py » ( ну или другие подобные варианты ) работает, но при большой нагрузке все это начинает отставать ( видимо из-за того что это работает в один поток синхронно ).

как раз наоборот. У тебя тормозит потому, что два потока работают СРАЗУ, синхронно.

Есть ли вариант чтобы можно было для tail одновременно запускать несколько потоков

да. Конвейер.

видимо из-за того что это работает в один поток синхронно

Скорее всего Вам поможет параметр -s 0.1 к tail. А если он не поможет, то Вам уже ничто не поможет. Кроме ionice для tail разве что.

Вам уже ничто не поможет. Кроме ionice для tail разве что.

тормозит у него скорее всего не tail, а обработчик.

тормозит у него скорее всего не tail, а обработчик

grep что ли? Если там не мудрёный регэксп, то не в нём дело, т.к. скорость такой лёгкой обработки данных на современных процессорах многократно превышает скорость записи в файл.