tail -f на питоне перестает следить за файлом/перестаёт писать в конечный файл

прекращай писать код на корт коленке.

перейди на нормальный питон.

найди батарейки.

чиго?

Есть у кого какие идеи

Версия питона 2.6.6

Идея первая - ты некрофил.

Идея вторая - logrotate нету? Файл тот же пишется все время? Если он заменяется по logrotate то такие спецэффекты вполне бывают

все, что ты пытаешься сделать, уже давно реализовано в виде «батареек». осталось только погуглить. это если не цепляться за «код».

найди батарейки

Такой себе совет. Недавно изучал «батарейки» нашего проекта на предмет «кто сожрал память». Нашёл прям тонны интересных технических решений вроде втыкания numpy где можно и нельзя или хранения гигансткого одноразового бинаря в константах. Не в плане что я против либ, но нужно отдавать себе отчёт что и как там происходит прежде чем искать «халяву на pypi».

Идея первая - ты некрофил.

Щито поделать, вот такое стоит и обновиться нет никакой возможности.

Идея вторая - logrotate нету? Файл тот же пишется все время? Если он заменяется по logrotate то такие спецэффекты вполне бывают

logrotate нет, инфа сотка.

Попробуй -F

и обновиться нет никакой возможности

Увольняйся.

Версия питона 2.6.6

Офигеть. Почти 15 лет о_О

Попробуй -F как выше предложили. Даже без logrotate что-то может теребить файл, retry может помочь

и обновиться нет никакой возможности

Надеюсь, тебе хорошо платят.

import subprocess
import os
import sys



def tail_forever(file, pat):
    os.chdir(sys.path[0])
    with open("log", "a+") as log:
        try:
            p = subprocess.Popen(["tail", "-F", file], stdout=subprocess.PIPE)
            while 1:
                line = p.stdout.readline().decode()
                if pat in line:
                    log.write(line)
                    log.flush()
                elif not line:
                    break
        except KeyboardInterrupt:
            print("KB INT")
            log.write("INTERRUPTED FROM KB: ")
            print("AFTER KB")
            log.flush()
        except Exception:
            log.write("UNEXPECTED ERROR: ", sys.exc_info()[0])
            log.flush()
        finally:
            log.close()
            sys.exit("EXIT")


if __name__ == "__main__":
    tail_forever(sys.argv[1], sys.argv[2])

Подумал, что наверное не стоит открывать файл, за которым идёт наблюдение, ибо tail и так его открывает. ПОнаблюдаю. МОжет быть в этом проблема

в интернетах пишут, что полагаться на готовенькие библиотеки из pypi это примерно то же самое, что ставить что-то из AUR - может норм работать, а может и отвалиться в самый ответственный момент.

Прижми IO диска :) скорее всего увидишь отвал хвоста

Стремное занятие писать на разделяемый ресурс без буфера, насколько помню file.write в питоне не гарантирует асинхронность и консистентность

А может я гоню, ты вроде файл и не закрываешь, тогда действительно не стоит его трогать пока скрипт работает. Кофейку походу надо

Выяснил, что вот такая ошибка появляется и после неё выполнение программы прекращается. Что это такое и как лечить?

[root@OTU tail_subprocess]# tail: write error: Broken pipe
tail: write error

tail пишет быстрее, чем твоя программа читает.

Почему бы вместо подпроцесса, не реализовать tail на самом python, это делается элементарно? Всё будет гораздо проще и надежнее.

А зачем тебе tail-то вообще? читай себе периодически да и всё.

Эту ошибку скорее всего tail кидает когда ты по ctrl+c свою прогу убиваешь. Он пытается очередную строку в свой stdout записать, а pipe уже сломан

Нет. Скорость записи тут не причем. Broken pipe это когда её закрыли с другой стороны.

А закрывает он её когда выполняется

                elif not line:
                    break

Про свою реализацию: надёжней - может быть, но не проще.

Пересоздание читаемого файла нужно отслеживать.

о боги! Где были мои глаза!? надо завязывать, пожалуй, с бездумным копипастом) Спасибо за наводку

А по-моему нормальная строчка, так как line не может быть пустой ввиду того, что блокирующий readline() всегда возвращает строку вместе с символом переноса \n. Мне кажется, что условие not line вообще никогда не может выполнится. Нет?

но в моем случае ни файл для записи ни файл для чтения не перезсоздаются, они существую всегда, как время и пространство

Это если бы он читал через p.stdout.readline()

IMHO проблему может создавать decode()

Я получал проблемы с utf после объединения потоков stdout и stderr

Мне тоже кажется, что decode() может бросать исключение.

SpaceRanger, в log-файле после «зависания» нет чего-нибудь навроде UnicodeDecodeError: 'utf-8' codec can't decode byte?

нет. Прога просто вываливается с

tail: write error: Broken pipe
tail: write error

а в файле для записи ничего нет, хотя я пытаюсь с помощью except хоть какую то инфу об ошибке туда записать

Удаление

elif not line:
   break

не помогло. Да и , разобравшись, я подумал, что это не особо то и влияло на ход выполнения

Кстати, а как отследить пересоздание остлеживаемого файла? гугол говорит про библиотеку watchdog, оно?

Господа! Кажется, проблема действительно в том, что отслеживаемый файл имеет свойство пересоздаваться (видимо, по причине переполнения или может по таймеру какому. Сие мне неведомо). Буду гуглить, как отследивать пересоздание

inotify или библиотеки, основанные на inotify.

tail -F как раз и должен был избавить от этой проблемы. Его можно запускать вообще без существующего в данный момент файла. Если же файл обрезается (truncate), то он тоже это должен нормально обрабатывать.

Broken pipe

А попробуй ещё перенаправить stderr в subprocess.DEVNULL или в твой log.

хммм…да, опытным путём выяснил, что это не пересоздание файла виновно… если перенаправить

p = subprocess.Popen(["tail", "-F", file], stdout=subprocess.PIPE, stderr=log)

то в log вижу

tail: write error: Broken pipe
tail: write error

то есть инфы столько же, сколько и было то есть маловато

log.write("UNEXPECTED ERROR: ", sys.exc_info()[0])

write() же не print(), у него только один параметр. Вот и получается, что decode() бросает исключение и во время его обработки возникает новое, программа на питоне завершается, а tail так и остаётся висеть в процессах. Наверное)

ну просто я встречал в инторнете подобный фокус, да и иде не ругается. Но на всякий случай поправил

import subprocess
import os
import sys



def tail_forever(file, pat):
    os.chdir(sys.path[0])
    with open("log", "a+") as log:
        try:
            p = subprocess.Popen(["tail", "-F", file], stdout=subprocess.PIPE, stderr=log)
            while 1:
               # line = p.stdout.readline().decode()
                line = p.stdout.readline()
                if pat in line:
                    # print(line.strip())
                    log.write(line)
                    log.flush()
                    # print(f"[{datetime.datetime.now()}]  {line.decode().strip()}")
                else:
                    pass
        except KeyboardInterrupt:
            print("KB INT")
            log.write("INTERRUPTED FROM KB: ")
            print("AFTER KB")
            log.flush()
        except Exception:
            log.write("UNEXPECTED ERROR: ")
            log.write(sys.exc_info()[0])
            log.flush()
        finally:
            log.close()
            sys.exit("EXIT")


if __name__ == "__main__":
    tail_forever(sys.argv[1], sys.argv[2])

Если нужен print(), то можно писать так: print("UNEXPECTED ERROR: ", sys.exc_info()[0], file=log).

У него python 2.6. Надо from __future__ import print_function или что-то в этом роде. Не помню уже было ли это в 2.6 и вспоминать не хочу.

IMHO, правильный подход: если не обновиться, то хотя бы скомпилять py3 вручную (или через pyenv).

Да, ты прав. А вот так это делалось по умолчанию) print >> file, arg1, arg2, ....

import subprocess
import os
import sys



def tail_forever(file, pat):
    os.chdir(sys.path[0])
    with open("log", "a+") as log:
        try:
            p = subprocess.Popen(["tail", "-F", file], stdout=subprocess.PIPE, stderr=log)
            while 1:
                line = p.stdout.readline()
                if pat in line:
                    log.write(line)
                    log.flush()
                else:
                    pass
        except KeyboardInterrupt:
            log.write("INTERRUPTED FROM KB: ")
            log.flush()
        except Exception:
            log.write("UNEXPECTED ERROR: ")
            log.write(sys.exc_info()[0])
            log.flush()
        finally:
            log.close()
            sys.exit("EXIT")


if __name__ == "__main__":
    tail_forever(sys.argv[1], sys.argv[2])

Вобщем, вот такой вариант вполне себе работает

def tail_forever(file, pat):
    os.chdir(sys.path[0])
    with open("log", "a+") as log:
        def out(l):
            for s in l:
                log.write(s)
            log.flush()

        try:
            p = subprocess.Popen(["tail", "-F", file], stdout=subprocess.PIPE, stderr=log)
            while 1:
                line = p.stdout.readline()
                if pat in line:
                    out([line])
        except KeyboardInterrupt:
            out(["INTERRUPTED FROM KB: "])
        except Exception:
            out(["UNEXPECTED ERROR: ",sys.exc_info()[0]])
        finally:
            log.close()
            sys.exit("EXIT")


if __name__ == "__main__":
    tail_forever(sys.argv[1], sys.argv[2])

спасибо. Так выглядит намного приятнее