LINUX.ORG.RU

Вышел PyTorch 1.5.0

 , ,


0

1

PyTorch — популярный фреймворк для машинного обучения — обновился до версии 1.5.0. Этот релиз включает в себя несколько крупных дополнений и улучшений API, среди которых можно отметить:

  • C++ API, ранее считавшийся экспериментальным, окончательно стабилизирован. Теперь пользователи могут легко переводить свои модели с Python API на C++ API.

  • Стабилизирован пакет torch.distributed.rpc, предоставляющий широкие возможности в распределенном обучении, включая автоматическое вычисление градиентов и обновление параметров модели.

  • Обновлен torch_xla — пакет, который использует компилятор XLA для ускорения обучения моделей на облачных TPU.

  • Также обновлены пакеты torchaudio, torchvision и torchtext, предоставляющие инструменты для разработки моделей, обрабатывающих звуковые, графические и текстовые данные.

  • Python 2 больше не поддерживается. Вся дальнейшая разработка будет вестись только для Python 3.

>>> Подробности

★★★★★

Проверено: cetjs2 ()

Python 2 больше не поддерживается. Вся дальнейшая разработка будет вестись только для Python 3.

Вообще не нужно, но предполагаю, что макаки одобрят.

C++ API

Тоже не нужно, это всего лишь фронтенд к тому же к чему фронтенд питухоновское апи. Приятно конечно, люди признают, что на С++ это возможно делать проще чем на питухоне, но вообще мозг рака какой-то, кажется они уже сами запутались.

anonymous ()
Ответ на: комментарий от anonymous

Тоже не нужно, это всего лишь фронтенд к тому же к чему фронтенд питухоновское апи. Приятно конечно, люди признают, что на С++ это возможно делать проще чем на питухоне, но вообще мозг рака какой-то, кажется они уже сами запутались.

Вот тут с анонимусом полностью согласен. ИИ, и в частности, нейросети, требуют производительности, а не вирт. машины вроде PVM или компиляторов «через колено», что легко достигается на обычном СИ.

drfaust ★★★★★ ()

А есть какие-нибудь движки для того, чтобы из питона запускать код на opencl? не только машинное обучение, а произвольный распараллеливаемый код

cvs-255 ★★★★★ ()
Ответ на: комментарий от drfaust

Ну в питоне можно делать реализацию модулей на си и встраивать это в питухон, это видимо то, что макаки называют «на си», никакого апи от си там нет, есть только питухоновские модули часть из которых реализована на си. Теперь к ним сверху похоже ещё вкорячивают с++. Ты же хотел побольше производительность, чем больше прослоек между тобой и выполняющимся кодом, тем быстрее же будет работать, это все знают.

anonymous ()
Ответ на: комментарий от WitcherGeralt

есть расхожее мнение, что pytorch - лучше для research, tensorflow - для production. но вот в pytorch запиливают всякие шняги для production, а что там с TF сейчас - хз, по-моему ничего хорошего..

anonymous ()
Ответ на: комментарий от anonymous

ого как пригорает. а всего-то немного рассказали какие костыли внутри питорча. ну что поделать, так уже сложилось, им трудно писать модули под два питухона, а тензорфлоу не трудно, это архитектурные решения и всё такое. разве это плохо знать, что завтра им будет трудно писать модули под очередной питухон и опять все останутся у разбитого корыта? что-то там ещё про продакшен было, чую васянством пахнет, а откуда - не пойму.

anonymous ()
Ответ на: комментарий от shkolnick-kun

Я с tensorflow имел дело, с keras поверх него только немного игрался. Коллеги как раз на PyTorch пишут, но мы совсем не пересекаемся и повода порасспрашивать пока не было.

Мне в проект пора ML тащить, как только достаточно времени высвободится, займусь. Нужно девиации среди показателей и наборов событий в системе находить, а коллеги распознаванием картинок видео занимаются. Буду их привлекать. Хочется осознанно подойти к выбору инструмента, а то я предвижу синдром утёнка, тем не менее квалификация мне не позволяет это сделать. Думаешь, стоит заморачиваться?

WitcherGeralt ★★ ()
Последнее исправление: WitcherGeralt (всего исправлений: 1)
Ответ на: комментарий от WitcherGeralt

Да. Можно сравнить, к примеру, с Gentoo и Fedora. Если тебе надо быстро иметь рабочую коробку, то скорее всего ты выберешь Fedora, но теоретично можешь и Gentoo. Здесь что-то похожее. Советую просто почитать несколько статей вроде этой: https://towardsdatascience.com/pytorch-vs-tensorflow-spotting-the-difference-25c75777377b

NoNameNoNumber ()
Ответ на: комментарий от WitcherGeralt

Нужно девиации среди показателей и наборов событий в системе находить, а коллеги распознаванием картинок видео занимаются.

Тебе надо либо детектирование аномалий, либо классификацию (предположительно бинарную, предположительно пользователей).

Если второе, то на соревнованиях по подобному в данный момент рулят разные бустинги, а нейронки там не особо нужны.

И еще там признаки ручками придется инженерить, что само по себе нетривиальное колдунство.

Прежде чем выбирать инструмент - спроси коллег.

shkolnick-kun ★★★★ ()
Последнее исправление: shkolnick-kun (всего исправлений: 2)
Ответ на: комментарий от shkolnick-kun

У ребят ML и нейросетки головного мозга, изначально его предлагали юзать там, где оно нафиг не нужно. Я еле руку от лица отнял и отбрехался. По-хорошему мне нужно немного поисследовать и выработать взвешенную позицию, сразу привлекать ребят и позволить им делать по-своему, значит пустить всё на самотёк. Когда есть молоток, всё вокруг гвозди. А ребята ещё и молодые.

WitcherGeralt ★★ ()
Ответ на: комментарий от WitcherGeralt

Бустинг - это ML, и его даже паралеллят на GPU, но это очень сильно не нейросети.

По-хорошему мне нужно немного поисследовать и выработать взвешенную позицию

Когда есть молоток, всё вокруг гвозди. А ребята ещё и молодые.

Попробуй привлечь экспертов постарше под NDA. Алсо, если задача - что-то вроде:

  • детектировать фрод
  • отличать живых людей от ботов
  • прогнозировать реакцию человека на стимулы

С высокой вероятностью подход бустинг+хендкрафтедпризнаки затащит лучше нейронок…

shkolnick-kun ★★★★ ()

Я тут, кстати, планирую вернуться к проекту нейрокрысы.

Сегодня вот имбеддинги laser пробую, вроде интересно получается, если что - попробую сделать кластеризацию постов.

shkolnick-kun ★★★★ ()
Ответ на: комментарий от shkolnick-kun

Ты неправильно понял, я просто ребят охарактеризовал. Про бустинг я немножко читал, и даже хеллоуворды на фреймворке от MS пробовал, но без толку, я слишком тупой, с наскока не получилось.

Вот задачу ты как раз понял правильно. Обосновать привлечение когото-то извне при наличии своих, не получится, да и нет нужны, ребята разберутся, если подтолкнуть в правильном направлении. А то изначально хотели сетку учить на ручных классификациях, точность которых, учитывая объём данных, как в анекдоте про блондинку и динозавра (т.е. процент хороший на очевидных кейсах, а всё остальное просто пролетает мимо и детектится на основании дополнительных данных, которые появляются когда уже поздно. в совокупности шиш). Притивные эвристики справляются уже лучше людей.

Спасибо за совет, постараюсь разобраться.

WitcherGeralt ★★ ()
Ответ на: комментарий от WitcherGeralt

Притивные эвристики справляются уже лучше людей.

Именно так. Пока размечено мало данных - правила рулят.

Насколько мне известно, в промышленных системах антифрода часто используется связка правил и ML.

В общем, от правил избавится пока не смогли…

shkolnick-kun ★★★★ ()
Последнее исправление: shkolnick-kun (всего исправлений: 1)
Ответ на: комментарий от WitcherGeralt

В tf нужно составить вычислительный граф, скомпилировать и потом вызывать полученную функцию через специальный интерфейс. Отлаживать такой кодогенератор сложнее. В pytorch вычислительный граф скрыт, ты всегда работаешь с обычными питоновскими функциями, похоже как если бы писал на numpy. Остальные отличия не существенные.

Leron ★★ ()
Последнее исправление: Leron (всего исправлений: 1)
Ответ на: комментарий от Leron

В tf нужно составить вычислительный граф, скомпилировать и потом вызывать полученную функцию через специальный интерфейс. Отлаживать такой кодогенератор сложнее. В pytorch вычислительный граф скрыт, ты всегда работаешь с обычными питоновскими функциями, похоже как если бы писал на numpy. Остальные отличия не существенные.

Сейчас разница даже более размытая, pytorch добавил конвертацию в граф с оптимизацией, а tf - eager execution как в pytorch

pdima ()