LINUX.ORG.RU

Чем заменить jupyter-notebooks (python) чтоб был линтер и прочие плюшки?

 , ,


0

4

Есть отдел дата-саентистов, которые фигачят в джупитере (питон) через вебинтерфейс. им все удобно, они так привыкли.

какие есть варианты внедрить им линтер? ну это задача-минимум, пока хотябы это. под внедрением линтера я подрозумеваю интеграцию прямо в рабочий процесс, в идеале так как это происходит во всяких IDE - по мере изменения кода или по запуску линтер выполняется и подсвечивает варнинги и ерроры прямо в коде. тоесть чтобы «введение инородного тела» происходило плавно, на начальных этапах не мешая им работать а лишь информируя, что «вот здесь ты наговнокодил».

вообще можно как интегрировать джупитер с какойнибуть IDE или редактором типа сублайма или вскода без огромного геморроя?

Ответ на: комментарий от Im_not_a_robot

спасибо, пока начал с него. застрял на подключении к удаленному серверу - при вводе адреса и токена просто ничего не происходит. и где ошибку посмотреть тоже неясно. таже самая ссылка в браузере работает.

genryRar ★★ ()
Ответ на: комментарий от fornlr

благодарю. функция платная при этом по описанию реализация ничем не лучше\функциональнее той что в вскоде, такчто для начала всетаки попробую разобраться почему там не удается подконнектиться

genryRar ★★ ()
Ответ на: комментарий от fornlr

мдэ, и как с этим куском г работать то? скачал последнюю версию проф с триалом, запустил. и куда дальше? в доументации описание подключения только к локальной сессии, в настройках в секции фреймворков джупитера вообще нет (нашел в описании одного из багов, что именно там настраивается подключение). хрень какаято

genryRar ★★ ()
Ответ на: комментарий от genryRar

Да, ноутбуки в чарме никакущие. Мы используем и то, и друго. Ноутбуки — для песочниц и прототипирования кусков пайплайна, а в чарм уже вставляем работающие фрагменты кода.

Рекомендую сразу отключать в чарме проверку орфографии Typos: она вопит вообще не по делу. А также добавлять линтеров внешних типа pylint и pycodestyle.

anonymous ()

Всё зло от дата-сатанистов

Как хорошо было, пока они сидели в своём экселе и не лезли в питон. Уже стыдно говорить, что пишешь на питоне, потому что это теперь такой язык для непрограммистов. На питонофорумах школоад, в PyPI помойка, пакетирование и управление зависимостями сломано - а они смеются и устанавливают зависимости через "!pip install govnopandas" в ждупитере. Была надежда, что Julia взлетит, и они на неё побегут, но нет. Сам Гвидо в ужасе сбежал. Придётся, видно, тоже сбегать с питона на какую-нибудь растишечку.

anonymous ()
Ответ на: комментарий от genryRar

Jetbrains не г делают, просто готовить надо нормально. И платить

Что от жупитера требуетcя? Ячейки позапускать и картинки результатов посмотреть - одно. Пишешь в vscode в обычном .py файле #%% - запускает ipython

https://donjayamanne.github.io/pythonVSCodeDocs/docs/jupyter_getting-started/

Pycharm и spyder3 тоже могут.

Другое - насколько виджеты всякие нужны и прямo в браузере результаты другому человеку показывать.

Kokonavtuz ()
Ответ на: комментарий от Kokonavtuz

ну прежде чем платить я хочу убедиться что оно рабочее.

мне нужно не запускать ipython\jupyter локально, а подключаться к удаленному кернелу и выполнять ячейки в нем, а результат уже видеть у себя. сатанисты ведь свои модели тренируют не у себя на машинах, а на кластере.

с пайчармом я разобрался, но пришлось обратиться в поддержку. выяснилось, что использовать удаленный кернел пайчарм умеет, но вот получать доступ к удаленным файлам через тотже протокол - нет. тобеш доступ к файлам нужно получать уже иначе, например через sftp. вообщемто это нормально, хоть и ломает привычный для сатанистов рабочий процесс.
саму работоспособность нотбуков и удобство использования еще не успел протестить, день кончился))

genryRar ★★ ()
Ответ на: комментарий от alx777

смотрел уже расширения - хочет больше гибкости и возможностей, но да - покачто поставил их. второй шаг - переход на джупите-лаб, там больше расширений в том числе флэйк8. а дальше хотелосьбы всетаки пересадить на пайчарм

genryRar ★★ ()
Ответ на: комментарий от genryRar

Не факт что в IDE будет удобнее, все-таки полноценно реализовать ноутбучный подход, когда код и результат (который может содержать виджеты, графику, ΤeΧ) вместе в редакторе не так и просто

alx777 ()
Ответ на: комментарий от alx777

в общем случае - да, изза всяких рендереров это непросто. но конкретно в моем случае - это ненужно, единственное что они рендерят это датафреймы пандаса. это сильно проще. но и этого тоже нету

удивляюсь - джупитер существует столько лет, МЛ в тренде и куча народу пользуются именно джупитером для прототипирования\моделирования. при этом саентисты думаю не только у меня игнорируют и пеп8 и базовые рекомендации по кодстайлу. дык почему в джупитер не добавили линтер? какже не хочется писать велосипед...

genryRar ★★ ()
Ответ на: комментарий от genryRar

но конкретно в моем случае - это ненужно, единственное что они рендерят это датафреймы пандаса

Это они сейчас так говорят что больше ничего не нужно

при этом саентисты думаю не только у меня игнорируют и пеп8 и базовые рекомендации по кодстайлу. дык почему в джупитер не добавили линтер? какже не хочется писать велосипед...

Если там у каждого свой ноутбук, которым больше никто не пользуется, то наверное общий пеп8 стиль не особо и принципиален. Юзера устраивает, результат выдается - ну и ладно

Если же они работают над общим ноутбуком, то мне кажется тут лучше уже копать в сторону более-менее полноценного code review, там все-таки не только форматирование хорошо бы проверять но и алгоритмы, видимый результат и тому подобное

Типа вот этого: https://www.reviewnb.com/

alx777 ()
Ответ на: комментарий от alx777

они работают каждый со своим ноутбуком. каждый над своим «проектом».

но в какойто момент этот «проект» становится частью продового кода. включением завершенного «проекта» в прод занимаются уже разработчики, и вот когда они открывают этот говнокод... вот тут и возникает проблемка.

genryRar ★★ ()
Ответ на: комментарий от genryRar

и вот когда они открывают этот говнокод... вот тут и возникает проблемка.

И никуда от этого не деться, потому что ДС - не программисты. Дальше больше, когда алгоритмы приходится применять на полный набор данных вместо тестовых дфов и наступает капец со скоростью.

stave ★★★★★ ()