LINUX.ORG.RU

Сообщения Qwentor

 

SQL внутри python multiprocessing. КАК?

Форум — Development

Такая проблема.
Вот схематичный код:


def processInput(users):
    sql_1 = "SELECT * FROM table1"
    cursor.execute(sql_1)
    res_1 = cursor.fetchall()
    print(res_1)

    sql_2 = "SELECT * FROM table2"
    cursor.execute(sql_2)
    res_2 = cursor.fetchall()
    print(res_2)

pool = Pool(processes=8)
for _ in tqdm.tqdm(pool.imap_unordered(processInput, users), total=len(users)):
    pass




Так вот, res_2 получается идентичным res_1.
Что за нах и как исправить?

 , ,

Qwentor
()

Повисает запрос к базе через pymysql

Форум — Web-development
sql = "UPDATE t_run SET day_flag = 0 WHERE user_id = %s"
cursor.execute(sql, (data['userid'], ))



Так вот, cursor.execute повисает. Т.е. апдейт выполняется (в базу изменения вносятся), но далее скрипт повисает намертво и ничего после cursor.execute не выполняется.
В чем может быть проблема?

MariaDB 10.1.2.3
Python 3.4.2
Debian Jessie

 , ,

Qwentor
()

Какие существуют ускорители для Python3?

Форум — Web-development

Какие существуют ускорители для Python3?
На офсайте насчет pypy написано следующее:

Warning: PyPy3.5 is considered beta software. All binaries are thus called “beta”. It is known to be rarely much slower than PyPy 2. You are welcome to use it anyway; if you're lucky it will be fast in your case.

Насколько оно «slower»? Дает ощутимое ускорение в большинстве или меньшинстве случаев?
Насколько beta? Только потестировать или «Ready for production»?
Есть ли альтернативы?

 ,

Qwentor
()

Как реализовать параллельный процесс с возможностью прерывания изнутри?

Форум — Web-development

Есть функция которая выполняется над набором значений. Выдаёт либо это значение (подтверждено) либо None
Нужно чтобы по набору 25 подтвержденных значений оно останавливалось и выдавало список.
Сейчас реализовано на joblib Parallel
Соответственно полный перебор всех значений. И после фильтрация None и обрезка до 25.
Если сделать последовательно простым for, то это медленно.
А если joblib, то обрабатывает только полностью и тоже выходит не очень быстро.
Возможно ли как-то сделать то, о чем я говорю или взаимоисключающие параграфы?

 ,

Qwentor
()

Не работает copy/paste в VMware Lubuntu 16.04 для другого пользователя

Форум — Desktop

Завел нового пользователя в убунте под виртуалкой, под ним не работает copy/paste между хостом и гостем. На первом работает

VMware Tools установлены

хост - Windows 10
гость Lubuntu 16.04

 , ,

Qwentor
()

Python 3 ругается об отсутствии модуля, а pip3 говорит, что он установлен

Форум — Web-development

Python 3 ругается об отсутствии модуля, а pip3 говорит, что он установлен

Traceback (most recent call last):
  File "/opt/check/checker.py", line 1, in <module>
    import pycurl
ImportError: No module named 'pycurl'


pip3 install pycurl
Requirement already satisfied: pycurl in /usr/local/lib/python3.5/site-packages


WTF? Что делать?

 ,

Qwentor
()

Как вести лог screen?

Форум — General

Как вести лог screen?
Ctrl-A-H записывает маленький кусочек в hardcopy.0 и останавливается. Как правильно?

 ,

Qwentor
()

Как через pycurl установить опцию --compressed ?

Форум — Web-development

Есть курл вида

curl "http://site.com" -H "Host: site.com" -H "User-Agent: Useragent" -H "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8" -H "Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3" --compressed



Без опции --compressed запрос не работает

Но мне нужно на Python, а точнее pycurl. Как в нем указать эту опцию?

 ,

Qwentor
()

Распознавание капчи. Как сделать и стоит ли?

Форум — Web-development

Есть капча вот такого вида: https://itmag.es/4tiON

Насколько сложно такое распознать без всяких антикапч и антигейтов?

Если реально, то какие инструменты применять?

 ,

Qwentor
()

Как запускать скрипт во время, указанное в таблице MySQL?

Форум — Web-development

В общем, будет таблица в MySQL, содержащая время запуска скрипта и параметры. Возможно сделать запуск по времени из таблицы?
Крон не подходит, т.к. таблица будет пополняться, и часто.

 ,

Qwentor
()

Как установить куку такого вида?

Форум — Web-development

Как установить куку такого вида?

 SyncTimeData={'origtime': 1497735776406, 'offset': 13}


Использую requests
При попытке преобразовать имеющиеся куки в словарь, добавить в словарь вложенный словарь SyncTimeData и установить полученное в виде куки получаю ошибку.

con = s.post("https://url", json=payload, headers=hdrs, cookies=ck)


File "test.py", line 313, in <module>
    test()
  File "test.py", line 271, in marathon
    con = s.post("https://url", json=payload, headers=hdrs, cookies=ck)
  File "/usr/lib/python3/dist-packages/requests/sessions.py", line 500, in post
    return self.request('POST', url, data=data, json=json, **kwargs)
  File "/usr/lib/python3/dist-packages/requests/sessions.py", line 443, in request
    prep = self.prepare_request(req)
  File "/usr/lib/python3/dist-packages/requests/sessions.py", line 374, in prepare_request
    hooks=merge_hooks(request.hooks, self.hooks),
  File "/usr/lib/python3/dist-packages/requests/models.py", line 306, in prepare
    self.prepare_cookies(cookies)
  File "/usr/lib/python3/dist-packages/requests/models.py", line 508, in prepare_cookies
    cookie_header = get_cookie_header(self._cookies, self)
  File "/usr/lib/python3/dist-packages/requests/cookies.py", line 134, in get_cookie_header
    jar.add_cookie_header(r)
  File "/usr/lib/python3.4/http/cookiejar.py", line 1329, in add_cookie_header
    attrs = self._cookie_attrs(cookies)
  File "/usr/lib/python3.4/http/cookiejar.py", line 1288, in _cookie_attrs
    self.non_word_re.search(cookie.value) and version > 0):
TypeError: expected string or buffer

 ,

Qwentor
()

Существуют ли сервисы анонимной отправки смс?

Форум — Talks

Сабж
Если да, то где они?
Совсем анонимные - ввод паспорта и оплата картой не катят совсем
Ещё кое-как пойдет оплата через терминал

Перемещено leave из general

 

Qwentor
()

Как переделать такое в параллельное выполнение?

Форум — Web-development
def function_1():

	list1 = #получение из базы
	list2 = #получение из базы
	list3 = #получение из базы

	for i in range(len(list1)):
		#действия
		# внутри также используются все 3 списка



multiprocessing и joblib не работают, т.к. цикл переделывается в функцию, а она уже получается вложенной, а с вложенными они не работают

Сan't pickle...


multiprocess не падает, но внутри цикла ничего не происходит, а падает уже при попытке получить результат


result = p.map_async(function_2, range(len(list1)))
print (result.get())



c сообщением типа
io.UnsupportedOperation: seek


Как это вообще сделать?

 ,

Qwentor
()

Как постоянно прослушивать порт и отдавать данные?

Форум — Web-development

Сабж
Нашел такое решение:

import socket

sock = socket.socket()
sock.bind(('127.0.0.1', 3333))
sock.listen(1)
conn, addr = sock.accept()

print ('connected:', addr)

while True:
	data = conn.recv(1024)
	if not data:
		break
	conn.send(data.upper())

conn.close()




Но сразу после отдачи данных скрипт завершается, а мне нужно, чтобы висел и отдавал на каждое обращение. Как это сделать? Если просто убрать conn.close() - все равно завершается

 ,

Qwentor
()

Как на PHP забрать данные, выдаваемые Python скриптом?

Форум — Web-development

Делаю так:

ob_start();
passthru('/usr/bin/python3 /root/robot/forks.py');
$output = ob_get_clean();
echo $output;


Но ничего не выводится.

Да, питоний скрипт отрабатывает не мгновенно, секунды полторы все выводит в консоль

Как правильно сделать?

 ,

Qwentor
()

Есть ли в Python 3 нормальная функция арифметического округления?

Форум — Web-development

round() - использует банковское округление к ближайшему четному. Я конечно понимаю, что написать свою функцию 5 мин, но неужели только так и нормального округления нет?

 

Qwentor
()

Как отредактировать файл внутри docker image?

Форум — General

Нужно создать свой docker image на основе Debian с приложением.
Надо будет отредактировать файлы внутри него некоторые после установки внутрь этого приложения.
Собственно, если просто пользоваться nano внутри контейнера после

docker exec -it <container_id> sh



то если пользоваться копипастом вместо пробелов вставляются ^ ^ ^
Какой редактор можно нормально использовать?

 , ,

Qwentor
()

Как узнать количество соединений ждущих очереди?

Форум — General

Как узнать количество соединений ждущих очереди?
Нагуглил netstat -Lan , но оказалось для FreeBSD, а мне надо для Debian

Заранее спасибо

 , ,

Qwentor
()

Прокси из терминала запускается нормально, а из python в неактивном режиме. Почему?

Форум — Web-development
subprocess.call(['/etc/3proxy/3proxy', args.dest])



в итоге:
30650 ? Ss 0:00 /etc/3proxy/3proxy /etc/3proxy/3proxyUkr.cfg
30667 pts/1 S+ 0:00 grep 3proxy


из терминала там значение Ssl и нормально работает

Запускается все от рута
В чем проблема?

 , ,

Qwentor
()

Telegram-purple для Pidgin не отображает начатый чат

Форум — Desktop

Поставил плагин telegram для Pidgin - не отображает начатый с мобильного чат, хотя контакт этот виден, но в нем пусто. Оно так и работает? Или все-таки можно подтянуть беседу?

 ,

Qwentor
()

RSS подписка на новые темы