LINUX.ORG.RU

Разработчики Godot столкнулись с наплывом «нейрослопа»

 , ,

Разработчики Godot столкнулись с наплывом «нейрослопа»

0

1

Контрибьюторы и мейнтейнеры игрового движка Godot заявили о растущей проблеме так называемого «нейрослопа» в pull requests, которые создают дополнительную нагрузку на команду проекта.

О проблеме написал один из ведущих разработчиков движка, Rémi Verschelde. По его словам, количество AI-сгенированных PR в репозитории Godot на GitHub заметно выросло, а их проверка становится «все более изматывающей и деморализующей» для мейнтейнеров.

Разработчики отмечают несколько характерных признаков «нейрослопа»:

  • чрезмерно длинные, шаблонные описания изменений
  • правки, которые часто не имеют смысла
  • отсутствие понимания автором собственного кода
  • сомнительные или выдуманные результаты тестирования

Как подчеркнул Версшельде, команде приходится по нескольку раз в день вторично проверять каждый PR от новых участников: «написан ли код человеком хотя бы частично, понимает ли автор внесенные изменения, тестировал ли он их вообще.»

Godot традиционно позиционирует себя как дружелюбный к новым контрибьюторам open-source проект. Любой пользователь движка может попытаться внести вклад в развитие движка. Однако, по словам разработчиков, растущий поток AI-сгенерированных PR начинает подрывать эту модель: «мейнтейнеры тратят значительную часть времени на фильтрацию и разбор низкокачественных изменений.»

«Я не знаю, как долго мы сможем это выдерживать», - отмечает один из разработчиков.

Предлагаются организационные меры - например, разделение очередей на ревью: приоритетная обработка PR от аккаунтов с давней историей участия в open-source и отдельная очередь для новых контрибьюторов.

Также разработчики указывают, что единственным устойчивым решением может стать увеличение финансирования проекта, чтобы оплачивать дополнительную работу по ревью.

>>> Подробности

★★

Проверено: hobbit ()
Последнее исправление: hobbit (всего исправлений: 1)
Ответ на: комментарий от TomBOY

Ждем, когда рынок решит, что с этим всем делать.

Сразу понятно что там рынок решит: все ок, работайте в том же духе… Данная тенденция выгодна «рынку», т.к. он представлен корпорациями, которые конкурируют с открытыми продуктами, а также которые владеют теми самыми языковыми моделями…

С этой точки зрения можно легко прийти к выводу, что мы имеем дело с нейрослопной атакой по свободному ПО…

Sm0ke85
()
Ответ на: комментарий от SkyMaverick

Пользователей, неоднократно отправивших ерунду в патчах, можно забанить, не важно ИИ это или нет.

X512 ★★★★★
()
Ответ на: комментарий от hobbit

При правильном подходе это не доставит больших проблем:

  1. Рассматривать патчи в первую очередь от уже известных контрибьюторов, патчи которых уже принимались.

  2. Патчи от новых контрибьюторов рассматривать с особенной тщательностью. Даже если это не ИИ, это может быть просто плохой код или вообще бекдор. Вообще не рассматривать патчи, меняющие код без исправления багов или внедрения новой функциональности (рефакторинг) или меняющие код сверх необходимого.

Я вот в один чужой проект отправлял патч буквально на пару строк кода, который сильно расширил диапазон версий Qt, с которым проект собирается. Приняли, ещё и спасибо сказали. А с такой практикой пролетел бы.

Ну по моей практике патчи, лежащие годами без принятия – нормальное явление и тут нечему обижаться. Тебе надо – сам собери с нужными патчами.

X512 ★★★★★
()
Ответ на: комментарий от Loki13

Ну так новый акк создаст. Я предлагаю более веселое решение

zanac1
()
Ответ на: комментарий от Smacker

Потому что вот самому обычному человеку в принципе-то нет никакого резона вдруг взять и начать направо и налево коммитить нейрослоп.

А вот же ещё недавно (индийские) студенты заходили на форумы/issues опенсорсных проектов, восхищались и спрашивали чем могут быть полезны. Им даже обстоятельно отвечали что бы имело смысл поправить в проекте.

Потом они коммиттили всякую чухню (типа исправления размеров заголовков и добавления забытых точек) и пропадали навсегда. Делали они это то ли для весомости своего резюме то ли по заданию своих преподов.

pikabu
()
Ответ на: комментарий от X512

Слабо помогает. Они же, собаки, новые создают, как кролики. Ну, и будет куча аккаунтов Vasya_001, Vasya_002, … или что-то типа того.

Единственный вариант ИМХО надёжно отсечь, получается, требовать паспорт или другое какое подтверждение личности (типа квалифицированной ЭЦП). Ну или проводить собеседование по видео. Как перец попадается за кривым AI, то он заносится в реестр идущих нафиг и патчи от него не рассматриваются.

Менее надёжно, для не знакомых лично разработчиков проводить автоматизированое ревью, на признаки AI-кода, при выявлении - отбрасывать. Но это потребует вычислительных мощностей и вероятность ложного срабатывания не нулевая.

Короче говоря, ИМХО проблема нагрузки от вала дебильного нейрослопа не сказать, чтобы тривиально решаема в общем случае.

SkyMaverick ★★★★★
()
Ответ на: комментарий от SkyMaverick

А если закрыть код и нанимать на разработку только профессионалов на зарплате, чужой код не принимать и свой никому не выдавать?

Ведь должно сработать?

LightDiver ★★★★★
()
Ответ на: комментарий от SkyMaverick

Это проблема в первую очередь для новых контрибьюторов. Тем, кто уже давно отправляет патчи, ИИ боты не мешают.

Единственный вариант ИМХО надёжно отсечь, получается, требовать паспорт или другое какое подтверждение личности (типа квалифицированной ЭЦП).

Как это помешает настоящему человеку с паспортом слать выхлоп ИИ бота?

X512 ★★★★★
()
Ответ на: комментарий от LightDiver

Не обязательно совсем закрывать. Достаточно снизить приоритет рассмотрения патчей от новых разработчиков.

X512 ★★★★★
()
Ответ на: комментарий от LightDiver

Тоже очень распространённое явление: коммиттят нейродрисню в проприетарный код под видом кода из своей головы. Если человек на удалёнке работает это невозможно пресекать

pikabu
()
Ответ на: комментарий от X512

Как это помешает настоящему человеку с паспортом слать выхлоп ИИ бота?

Тем, что забанить его можно один раз и навсегда.

SkyMaverick ★★★★★
()
Ответ на: комментарий от LightDiver

Ведь должно сработать?

Ну как-бы, да, сработает. Опенсоурс, правда, сдохнет.

Я о том, что есть проблема: как гарантировано отделять учётки и код реальных пользователей, от AI-флудеров (которые на каждый бан просто зарегают новую учётку и продолжат заново) или вообще ботов, при этом не перенапрягая ревьюверов, которых и так немного и они порядочно загружены.

Проблема, в общем, не тривиальная ИМХО. Решение предлагаемое @X512 тоже, в принципе, имеет место быть, я, какбы, с ним и не спорю.

SkyMaverick ★★★★★
()
Последнее исправление: SkyMaverick (всего исправлений: 1)

Также разработчики указывают, что единственным устойчивым решением может стать увеличение финансирования проекта, чтобы оплачивать дополнительную работу по ревью.

Как человек, периодически рецензирующий научный статьи, посмеялся от души.

buddhist ★★★★★
()
Ответ на: комментарий от Lrrr

гипертекстовый векторный, надеюсь?

гиперпространственный, скалярный

Byers
()
Ответ на: комментарий от splinter

От количества точек и их настроек зависит, в принципе можно голосовую связь организовать.

Byers
()
Ответ на: комментарий от Byers

Модем US Robotics Courier 56k конечно есть, но как то это немного в прошлом.

Оно прекрасно работает поверх IP.

Zhbert ★★★★★
()
Ответ на: комментарий от Shadow

Хочу присоединиться.

Очень просто. Находишь группу meshtastic в твоём городе, смотришь какие настройки в вашей сети, покупаешь совсем недорого железки и антенны, включаешься в сеть. У нас уже 56 точек.

Byers
()
Ответ на: комментарий от Zhbert

Оно прекрасно работает поверх IP.

Теряется весь смысл. Поверх IP = через провайдера интернетов, а это не труъ,

Byers
()
Ответ на: комментарий от Smacker

Я думаю здесь всё ещё хуже. Они получают информационный шум, рекламму в любом виде, и они заставляют опенсорсовцев обучать их модели и агентов за бесплатно. Пользы от поменянных местами членов «уравнения сложения» проектуникакой,а вот хозяевам всего этого ИИ аховая. Тестирование работы на боевом проекте. Начиная с генерации кода и кончая публикацией пуллреквеста и последующего обсуждения. Это охренеть как важно для ИИ. А опенсорс - да пусть он хоть сдохнет (когда обучит проприетарных ИИшек).

PcheloBiaka
()
Ответ на: комментарий от macrohard

а ты попробуй... https://openrouter.ai , кидаешь десятку долларей, ставишь модель антропик/опус 4.6, подключаешь к своей ide, копируешь такску из ишью и говоришь ему сделать. и ты удивишься, скорее всего. по крайней мере я до сих пор удивляюсь.

правда, если кодовая база большая, десятки долларей может и не хватить. в среднем на час-два хватает активной работы.

но дипсик раз в 20-40 дешевле. и обещают что новый будет прям весьма неплох.

AndreyKl ★★★★★
()
Последнее исправление: AndreyKl (всего исправлений: 1)
Ответ на: комментарий от yvv1

слушай, какая идея красивая, если соединить со смартконтрактами, то просто бонба!

AndreyKl ★★★★★
()
Ответ на: комментарий от alysnix

как показывает моя лично практика ИИ обычно не в состоянии в точности такие правила соблюдать до конца. откуда сразу видно, что ИИ там был.

последний Клод удивляет, так что уже не совсем актульано.. лишь постольку поскольку не все нейросети ещё достигли этого уровня. но вероятно дело года.

AndreyKl ★★★★★
()
Ответ на: комментарий от Byers

Провайдер телефона аналоговый, он не логировал и не анализировал трафик, передаваемый свистом-пуком.

56к уже цифра. Аналоговый был 33к в хорошую погоду.

sarumeister
()
Ответ на: комментарий от Byers

Да ну что вы. Чистый аналог на хороших АТС. Модем в цифру не умеет by design.

Нет, 56к и 90к ближе к DSL и требовали особого оборудования на последней миле.

sarumeister
()
Ответ на: комментарий от sarumeister

Нет. Это устройства с чистым аналоговым сигналом на линии передачи. Ничего особенного они не требовали.

Byers
()
Ответ на: комментарий от Byers

Нет. Это устройства с чистым аналоговым сигналом на линии передачи. Ничего особенного они не требовали.

Модемы так не работают. По телефонной линии от абонента к абоненту – 33к максимум. 56к было от специального оборудования уже конкретно провайдеров. (Пардон, в предыдущем комментарии неправильно написал V.90).

sarumeister
()
Ответ на: комментарий от sarumeister

Модемы так не работают. По телефонной линии от абонента к абоненту – 33к максимум.

С другом Колей соединялись модем-модем на скорости 56к и играли в варкрафт-2 и всякое другое.

Byers
()
Ответ на: комментарий от X512

Если ерунду приняли то спроса с разработчика нет

Reset ★★★★★
()
Ответ на: комментарий от Byers

У нас, мажоров, самый ходовой был таки 14400 :)

Ладно, отпетлял, пойнта мне дашь?

BydymTydym ★★
()
Ответ на: комментарий от skywarp

Так переводы, артворк и прочия же есть, и там навыков програмирования не нужно, в отличие от.

tnray
()
Ответ на: комментарий от SkyMaverick

Судя по общей тенденции отмены анонимности в интернете, в конце концов придут к надёжной идентификации пользователя по ЭЦП или чему-то такому.

Mobutu_Sese_Seko ★★
()
Ответ на: комментарий от alongside

С наплывом нейродерьма OpenSource, к сожалению, уйдет в прошлое.

Нет.

Zero_Cool
()

Гитхабу нужен шкворц.

Nervous ★★★★★
()
Ответ на: комментарий от LongLiveUbuntu

Не думаю, что у идиотов есть какой-то план.

Zhbert ★★★★★
()
Ответ на: комментарий от BceM_IIpuBeT

Сделать рофло бранч, куда принимать только нейрослопик и посмотреть что из этого выйдет)

Даже это не так просто осуществить. Создатель пулл-реквеста на гитхабе сам выбирает таргетный бранч. Чтобы руками смержить в другую ветку, надо затратить время, а он ещё и не применится туда из-за режектов.

anonmyous ★★
()
Ответ на: комментарий от yvv1

Блин, с помощью того же самого ИИ элементарно вычисляются PR с явным мусором.

Спам-фильтры тоже, вроде, должны мусор отсеивать. А постоянно в спаме важные письма нахожу.

anonmyous ★★
()
Ответ на: комментарий от yvv1

Чтобы подать запрос на PR, оставляешь залог в крипте. Если PR заворачивают, залог идёт в фонд проекта.

Ну это уж полная фигня. ПРки, зачастую, заворачивают даже от самых матёрых и проверенных разрабов. Ведь ошибки свойственны всем.

anonmyous ★★
()
Для того чтобы оставить комментарий войдите или зарегистрируйтесь.