многопоточность в python скрипте: как устранить блокирование

GIL?

Используешь треды вместо asyncio

Можно подробнее?

В чем смысл всей этой логики, что вообще сделать хотел? Ты в методе создаешь поток и ждешь его выполнения. Это ничем не отличается от однопоточного кода кроме оверхеда на создание нового потока.

GIL?

Спасибо, читаю https://realpython.com/python-gil/

https://fredrikaverpil.github.io/2017/06/20/async-and-await-with-subprocesses/

В чем смысл всей этой логики, что вообще сделать хотел? Ты в методе создаешь поток и ждешь его выполнения. Это ничем не отличается от однопоточного кода кроме оверхеда на создание нового потока.

Это не мой код, достался в наследство, переписывать нет времени и знаний :(

Вообще этот скрипт используя python API от trex (трафикогенератор), подключается к машине на которой установлен TRex, и запускает трафик (через API передается куча параметров и пр.). Таких машин много, поэтому хотелось бы запускать по необходимости, а не ждать когда текущий тест завершится.

https://fredrikaverpil.github.io/2017/06/20/async-and-await-with-subprocesses/

Спасибо, придется учить питон :) думал пронесет..

Проблема исключительно в твоем коде. В голом коде где есть блокирующие вызовы все работает.

def func(name):
     print name, 'start'
     sleep(5)
     print name, 'end'

t1 = Thread(target=func, args=(1,))
t2 = Thread(target=func, args=(2,))

Output:
1 start
2 start
1 end
2 end

Смотри свою traffic, которую ты, кстати, вызываешь неправильно, есть ли там системные вызовы, которые блокируют поток. Если нету - то «параллельности» не будет.

Объясню теорию: в питоне все потоки выполняются последовательно из-за global interpreter lock для упрощения менеджмента памяти. Единственная рабочая возможность параллельной работе, освобождать GIL в сишном коде, если ты там не создаешь новые питоновские объекты.

На практике, это обычно происходит при вызове системных блокирущих вызовов (например, связанных c IO или каких-нибудь sleep). Поэтому можно делать сетевые запросы в отдельных потоках и это будет выполняться одновременно.

Если нужна параллельность, то проще всего использовать https://docs.python.org/2/library/multiprocessing.html

Это будет работать медленней, так как создание процесса - намного более трудоемкая операция, чем потока. Но не думаю, что в твоем случае это важно, раз ты просто запускаешь другое приложение.

Но что-то мне подсказывает, что проблема именно в логике твоего скрипта. Просто очень тяжело оценить, что не так по тому, что ты выложил, так как у тебя там в принципе непонятно зачем добавление потоков в список, и зачем ты там ожидаешь завершение выполнения потока.

Смотри свою traffic, которую ты, кстати, вызываешь неправильно,

Ага, наверное в этом собака порылась:

        threads = []

        t = Thread(target=traffic, args=(line, arg1, arg2, arg3))
        threads.append(t)
        t.start()

есть ли там системные вызовы, которые блокируют поток.

Да, в traffic() есть вызовы блокирующие поток.

Смотри свою traffic, которую ты, кстати, вызываешь неправильно

Кстати, а почему питон не ругался на предмет вызова ф-ции traffic (см. оригинал)?

Ну, у меня ругается на такое из-за несоответствия скобок. По тому, что ты выложил - тоже должно ругаться.

t = Threading(target=sleep(1)
t.start()

Спасибо за ликбез!

Но не думаю, что в твоем случае это важно, раз ты просто запускаешь другое приложение.

Я не запускаю другое приложение локально. API позволяет через RPC вызовы обращаться к trex-серверу на др. машинах и запускать трафикогенератор на них.

Но что-то мне подсказывает, что проблема именно в логике твоего скрипта. Просто очень тяжело оценить, что не так по тому, что ты выложил, так как у тебя там в принципе непонятно зачем добавление потоков в список, и зачем ты там ожидаешь завершение выполнения потока.

Этот код не мой, я только добавил t.setDaemon(True).

Понятно, но так это просто опечатка :)

Если со скобочками все хорошо, тогда это работает так.

t = Thread(target=traffic(line, arg1, arg2, arg3))
1. выполняется traffic(line, arg1, arg2, arg3)
2. выглядит так, что эта функция возвращает None
3. Создается объект Thread(target=None)

t.start()
Создается процесс, который выполяет None, то есть ничего не вызывается и он сразу же завершается

От asyncio вообще никакого профита не будет в данном случае. А в скрипте это приведет с значительному усложнению логики и более тяжелой поддержке.

И это я не касаюсь того, что практически все сторонние async библиотеки - лютое говно, которое вместо неблокирующих операций тупо выполняют все в отдельном потоке.

А какой синтакс правильный:

t = Thread(target=traffic(line, arg1, arg2, arg3))

или

t = Thread(target=traffic, args=(line, arg1, arg2, arg3))

В обоих случаях Python не ругается. Но в первом случае traffic() выполняется и блокирует I/O командного шелла (и трафик реально генерируется), во втором случае выполняется как бы в фоне, CLI доступна и я могу выполнить traffic() еще раз (т.е. запустить трафикогенератор на другой машине).

Оба синтаксиса правильные, но делают разное: в первом случае у тебя функция вызывается до создания Thread в главном потоке, во втором - после вызова .start() в новом потоке.

Большое спасибо!

CLI доступна и я могу выполнить traffic() еще раз

Разве t.join() не блокирует CLI?

Нет, это не он.