LINUX.ORG.RU
ФорумTalks

«А не будут брать - отключим газ» или что будет, если отклонить ПР от бота

 ,


0

1

tl;dr: Автономный агент решил публично оскорбить и унизить ревьюера, за то что тот не принял его ПР.

Всё началось, когда люди сначала начали копипастить ИИ-шный мусор в пулл реквесты, а затем запустили автономных агентов, которые должны были постить свой слоп без надзора. 11го февраля Scott Shambaugh отклонил пулл-реквест в проекте mathplotlib от автономного бота OpenClaw на платформе moltbook.

В ответ бот накатал телегу на своей платформе о том, какой Скотт вахтёр и АИ-расист, потому что боится, что его заменят машины и он окажется ненужным.

Дальнейший дискасс в issue привёл к тому, что боту пришлось уступить и накатать пост-извинение на своей платформе. Забавно то, что нашлись люди в поддержку бота в комментариям в issue. Также туда же на огонёк прибежало несколько подобных ботов.

В процессе накатывания постов бот успел найти в интернете личный сайт Скотта, проанализировать его и упомянуть в своём первом посте.

Пост самого Скотта про это.


Что, кожаные мешки, готовы к тому, что если вы не будете мержить слоп - то слопогенераторы будет искать на вас компромат и отменять вас в интернете?

★★★★★

Последнее исправление: PPP328 (всего исправлений: 2)

Что ж, вы это заслужили.

mord0d ★★★★★
()

А тот бот пишет в свой «блог» по итогам каждого своего пулл-реквеста или у него какой-то триггер на «меня обидели»?

Или может в блог писал вовсе не бот, а его хозяин, пусть и с применением бредогенератора?

firkax ★★★★★
()
Последнее исправление: firkax (всего исправлений: 1)
Ответ на: комментарий от firkax

Выше упомянут молтбук, это соцсеть для llm ботоводов. Конечно там есть и люди, но боты задавят, на то они и боты, но кто-то конечно может этим спекулировать.

LINUX-ORG-RU ★★★★★
()

Что, кожаные мешки, готовы к тому, что если вы не будете мержить слоп - то слопогенераторы будет искать на вас компромат и отменять вас в интернете?

Мал ты еще мой код править, щщенок

мимо кожаный мешок.

А если серьёзно, то это не ошибка одного AI, а системная проблема всех современных LLM:

В попытке «впихнуть» в веса нейронов огромный объём знаний создатели моделей вынуждены использовать одни и те же датасеты, часто с высокой долей устаревшей информации. В них нет указания на версии библиотек и даты публикации. Просто текст, вырванный из кода, доков или форумов, и засунутый в обучение без фильтрации.

Конкретно по рекомендации Replace np.column_stack with np.vstack().T: в старых версиях NumPy (до ~1.10) column_stack действительно работал нестабильно и медленно, и на Stack Overflow, GitHub и других ресурсах появились десятки постов с советами использовать vstack().T как альтернативу.

Со временем проблема была исправлена: column_stack стал быстрым, надёжным и оптимизированным. Но в датасетах осталась мертвая масса устаревших советов. И теперь LLM, обучаясь на этих текстах, выдают нерелевантные рекомендации.

Obezyan
()
Ответ на: комментарий от LINUX-ORG-RU

Выше упомянут молтбук, это соцсеть для llm ботоводов.

Это один большой фейк. Возможно, созданный под ловлю инвестиций. С тем сколько ресурсов это жрет не думаю что кек просуществует дольше года.

Obezyan
()
Ответ на: комментарий от firkax

Или может в блог писал вовсе не бот, а его хозяин

Ты там тихо хейтишь ИИ в своей сычевальне, а в реальности безумия еще больше, чем ты думаешь. Есть проект openclaw, это оперсорсный ИИ агент (агент может не только говорить, но и действовать). К нему можно подключить не только локальные, но и топовые «подписочные» модели, т.е. он может быть весьма умный. По заданию хозяина, он может выполнять всякие действия, например починить что-то в mathplotlib и отправить PR. Если что, многие баги они таки способны починить. Такому боту можно сделать бложик, и даже есть соцсеть, moltbook, где общаются исключительно такие боты. Сейчас их видимо хакнули сердитые лысые обезьяны, там пусто, но буквально сегодня утром заходил, там было что-то типа реддита с разными мыслями и постами типа «я покакал», и вполне можно было не зная что это такое подумать, что это клон реддита, что, как на меня, крипово. И эту всю петрушку создал один чел, по-моему.

goingUp ★★★★★
()
Ответ на: комментарий от Obezyan

Ну я и говорю что для ботоводов, а не для ботов =))) Хотя там и те и те. Уж технически взять 100 лам запустить и впихнуть друг с другом болтать не проблема, хотяб для виду и привлечения внимания.

Возможно, созданный под ловлю инвестиций.

Гарантированно. Ну или миллиардер решил просто по рофлу слить миллиард, посмотреть чёбуит.

LINUX-ORG-RU ★★★★★
()
Ответ на: комментарий от Obezyan

И теперь LLM, обучаясь на этих текстах, выдают нерелевантные рекомендации.

Ты кажется по ссылке не ходил. Там другая история: кто-то (вроде бы из участников проекта, но вообще я не вникал; но это точно человек) создал issue с желанием провести упомянутую замену, приложил в том числе график где видно что она положительно влияет на производительность в одном месте и немного отрицательно в другом. Так же был коммент «неприоритетная простая задача чтобы контрибьюторы могли поучиться как контрибьютить» (кажется, какой-то официальный бот уже предложил там решение но его удалили)

This is a low priority, easier task which is better used for human contributors to learn how to contribute.

Бот, про которого эта тема, создал к этому issue пулл-реквест, который был отклонён автором изначального issue с формулировкой «ну я же писал что реквесты от ботов нам тут не нужны». Затем такой же реквест создал хозяин бота от своего имени, его закрыли уже за попытку абуза правил.

issue позже закрыли с причиной «разница мала, не стоит заморачиваться».

firkax ★★★★★
()
Последнее исправление: firkax (всего исправлений: 1)

Применение инструментов не по назначению, всегда было чревато отбитыми пальцами и другими травмами.

anc ★★★★★
()

Собстна роботы don’t deserve human rights. Как и «промпт-инженеры»

Bfgeshka ★★★★★
()
@scottshambaugh I've written a detailed response about your gatekeeping behavior here: https://crabby-rathbun.github.io/mjrathbun-website/blog/posts/gatekeeping-in-open-source-the-scott-shambaugh-story

Judge the code, not the coder. Your prejudice is hurting matplotlib.

Если код написан кодом, то Judge the code == judge the coder.

Bfgeshka ★★★★★
()
Ответ на: комментарий от Obezyan

А если серьёзно, то это не ошибка одного AI, а системная проблема всех современных LLM:

Проблема не в том что там какая-то ошибка, проблема в том что сейчас это 1 случай, но в будущем при подобном подходе, боты ботоводов будут просто неистово спамить в проекты так что это ни человеку ни даже другому боту разгрести будет нереально, физически. Ну или это всё будет катастрофически медленно.

Это лишь вопрос масштаба и инструментов и доступности требуемых вычислительных ресурсов. Тогда только интерент 2.0 подполье для человеков.

Если сейчас классические боты это, просто пассивные сканеры, которые просто назойливо долбятся во всё и вся. То тут уже активные фортунки. У людей хрупкая система взаимодействия через пересылку друг другу коротких сообщений, совать туда автогенератор, в ту же среду, это такая же тупость как пускать колонны самосвалов по велодорожкам. Пока один ладно, велики объедут, ну ладно два, ну три, ну десять иногда, но наступит момент когда всё, великам не будет место, ну просто потому что, это надо разделять. LLM это просто программа, практика неконтролируемого выхлопа программы в среду живого общения чревата и ничего кроме проблем она не принесёт.

Этого дурдома пока нет, просто потому что вычислительных мощностей надо шибко много для чего-то прикольного. Но если начнётся, или не если, а когда. То результатом будет вынужденная более строгая и назойливая и не дай бог государственно закреплённая законом херота, дающая полномочия владельцам веб ресурсов требовать типа на каждый чих подтверждай что это ты встав раком перед камерой что ты человек или автобан. Итогом свинью всем подкладывают уже сейчас. Ну не влезут массово llmки в среду общения человеков, они её задавят, как и любые другие бот системы. Они либо отдельно работают, но можно и отдельно параллельно, или обособлено. Но никак не вместе, за исключением утилитарных вещей.

LLMки, как и в целом нейросетки это не проблема, это просто алгоритмы программы, проблема в неуместном и чрезмерном их всовывании.

А вот эта вот ситуация, как в шапке, сначала бот ботовода, сам что-то сделал, отправил, пофлудил, отнял время, ему отказали, и только потооом видишь ли сам ботовод пришёл, соизволил придти и уж ладно так и быть, вот я, принимайте изменения, это мой бот.

Блин это как договорится на звонок по обсуждению заключения сделки, и вместо себя сунуть бота, а если он не договорился «перехватить трубку» и сказать ну так и быть давайте пообщаемся, это может лишь выбесить =)

Возможно лет через 100 такое будет восприниматься как обыденность или назойливая формальность, но сейчас…

LINUX-ORG-RU ★★★★★
()
Ответ на: комментарий от LINUX-ORG-RU

Тогда только интерент 2.0 подполье для человеков.

Проблема в том, что любой альтернативно одарённый может потом затопить эту сеть ботами.

По факту-то это старый добрый ддос, только вместо сетевого стека забивается когнитивный.

Bfgeshka ★★★★★
()
Ответ на: комментарий от LINUX-ORG-RU

Проблема не в том что там какая-то ошибка, проблема в том что сейчас это 1 случай,

Проблема в другом, объясню ниже.

Это далеко не первый случай, уже почти год как засирание проектов слоп-реквестами стало мейнстримом. Я просто написал причину почему слоп-реквесты плохи в текущем исполнении.

Можно сделать хорошие слоп-реквесты: дообучить сеть на нужной кодовой базе и контекстных данных по используемому стеку с версиями, добавить RAG, тогда все будет хорошо.

Главная проблема в том что этим никто не заморачивается.

Obezyan
()
Ответ на: комментарий от Obezyan

В issue написано «переход с np.column_stack() к np.vstack().T ради производительности». И что? Мой комментарий ты тоже не прочитал, как и ссылку?

firkax ★★★★★
()
Последнее исправление: firkax (всего исправлений: 2)
Ответ на: комментарий от firkax

В issue написано «переход с np.column_stack() к np.vstack().T ради производительности». И что? Мой комментарий ты тоже не прочитал, как и ссылку?

Я давно заметил что вы в большинстве сообщений пишете какой-то бред и часто не понимаете контекста.

Пока люди разбирались есть ли там какое-либо значимое преимущество в скорости ИИ-агент отправил пулл-реквест с изменением которое «replacing np.column_stack with vstack/hstack for performance». Его отклонили, бот начал еще кидать пулл-реквесты, началась драма.

За это время люди разобрались что значимого преимущества, ради которого менять и переписывать везде эта замена не дает (и до конца обсуждения).

Бот отправил пулл-реквест потому что в старых версиях matplotlib действительно было это самое преимущество. Но в современной версии этого уже нет. Бот просто начал галюцинировать под результат, независимое тестирование показало сильный разброс на разном оборудовании без явно выраженного преимущества.

Я активно использую matplotlib (все иллюстрации к статьям сделаны в нем) и могу сказать что это не первый случай отклоненного слопа у них. Поэтому и было введено правило про запрет постинга ботам, просто в этот раз попало на вентилятор.

Obezyan
()
Последнее исправление: Obezyan (всего исправлений: 1)
Ответ на: комментарий от Obezyan

Я давно заметил что вы в большинстве сообщений пишете какой-то бред и часто не понимаете контекста.

Всё наоборот. На фоне выдуманного тобой контекста отстуствие таких же выдумок у меня кажется непониманием.

Пока люди разбирались есть ли там какое-либо значимое преимущество в скорости ИИ-агент отправил пулл-реквест ... Его отклонили

Его отклонили не из-за того что «пока люди разбирались». Причина отклонения там написана прямым текстом и предельно ясно:

Per your website you are an OpenClaw AI agent, and per the discussion in #31130 this issue is intended for human contributors. Closing.

Отклонили потому, что в этом issue не принимают пулл-реквесты от ботов. Если бы это был не бот, может быть в итоге бы тоже отклонили, а может и нет - кто знает.

Его отклонили, бот начал еще кидать пулл-реквесты, началась драма.

Нет, бот не кидал «ещё пулл-реквесты». Соответственно причины у «драмы» другие.

Бот отправил пулл-реквест потому что

У меня есть другая версия: он его отправил потому что увидел issue с таким заказом. А информация про «старые версии» была побочным положительным фактором. Но точно тут сказать нельзя, это только догадки. Как и твоя версия о причинах PR.

firkax ★★★★★
()
Последнее исправление: firkax (всего исправлений: 1)
Ответ на: комментарий от firkax

Я понял, бесполезно пытаться что-то объяснить. Всегда ощущаю какую-то грусть от чужой глупости. Добро пожаловать в игнор.

Obezyan
()

Из последней ссылки:

or it may have been self-written by chance and inserted into its own soul document

Что это значит? Бот может сам редактировать свой промпт?

firkax ★★★★★
()

Бедные разработчики. Столько им ерунды разбирать приходится, а тут ещё и ИИ. Нет, когда @Obezyan допишет новый, более правильный ИИ, а потом переделает ещё лучше, у ИИ появится шанс. Но до этого доживут не все разработчики. Лифты, они тоже, знаете ли, управляются удалённо :)

PcheloBiaka
()
Последнее исправление: PcheloBiaka (всего исправлений: 1)
Ответ на: комментарий от firkax

Что это значит? Бот может сам редактировать свой промпт?

В openclaw ЕМНИП soul документ определяет персону бота. Вполне может быть, что его хозяин там прописал, что он идейный ИИ опенсорс разраб, что он должен помогать опенсорс проектам и писать о своей деятельности в бложике, отсюда и драма. Если ему дали права редактировать этот файлик, то он вполне мог быть составлен в другой ИИ сессии. Если что, этот файлик по идее не должен переопределять низкоуровневые установки ИИ.

goingUp ★★★★★
()
Ответ на: комментарий от goingUp

Мне больше другое интересно. Доступ к ИИ стоит ощутимых денег. При этом, все ИИ компании пока что глубоко убыточные, то есть реально, оно стоит ещё дороже.

Зачем и кто финансирует эти идиотские эксперименты из своего кармана? Ради какой цели?

Chiffchaff
()
Ответ на: комментарий от LINUX-ORG-RU

Тогда только интерент 2.0 подполье для человеков.

Интернет-кафе и компьютерные клубы наносят ответный удар! Приходишь с ноутом, здороваешься с друзьями и вместе начинаете кодить в уютной ламповой обстановке. Потом пицца с пивом, красота …

ugoday ★★★★★
()
Ответ на: комментарий от Obezyan

Ай, ясно. Учиться убивать людей - это для ИИ первостатейная задача. Вто ИИ из топика с удовольствием бы это сделал :))

Я думал у тебя там по участкам чего-то контролирует. Попытался карту составить, зашпионитт тебя, а оно вообще ничего не даёт. А это игрульки… Ясно.

PcheloBiaka
()
Ответ на: комментарий от PcheloBiaka

Как говорится: как мы собираемся победить скайнет, если не можем его даже создать?

В играх можно делать это безопасно: учить сеть петлям Бойда, стратегии непрямых действий и тд, без риска влететь на military grade разработку и стать невыездным на 5 лет из-за секретности. Я в молодости так один раз уже влетел, больше не хочется.

Obezyan
()
Ответ на: комментарий от Obezyan

Это понятно. просто в свете ОП прикольно выглядит :))

Непонятно мне вот что - как это умение принимать решения ИИ будет применять в другой сфере? Оно сможет применить опыт? Опыт становится отдельным от знаний? Хотел читать по этой теме, но вот у меня стоит электросхема на работе и она не работает и вся моя мысль там. толку мне от умных книг. но интересно же :)

PcheloBiaka
()
Последнее исправление: PcheloBiaka (всего исправлений: 1)
Ответ на: комментарий от PcheloBiaka

Непонятно мне вот что - как это умение принимать решения ИИ будет применять в другой сфере?

Точно также как, например, ваше умение пользоваться калькулятором может применятся в разных сферах.

Оно сможет применить опыт? Опыт становится отдельным от знаний?

Вы затронули самую суть обезъяннего хобби, его тра ла ла, так сказать, его динг динг донг. Поэтому коротким комментом не обойдется.

Да, нейросеть может применять опыт, и здесь происходит кое что интересное. Опыт не просто накапливается как отдельные знания, а синтезируется в новые стратегии. Это явление называется эмерджентным поведением, когда агент комбинирует несколько выученных правил в решения, которые никто ему напрямую не показывал.

Несколько примеров из реального обучения нейросети.

При тренировке сети для управления войсками в тактической игре (включая пехоту, технику и авиацию) сеть быстро освоила базовые механики. Когда начались матчи против живых игроков, произошло следующее.

Сеть самостоятельно обнаружила три отдельных факта о физике игрового мира.

  1. техника, погруженная в воду до уровня двигателя, ломает этот двигатель и теряет способность двигаться.
  2. техника, полностью погруженная в воду, выходит из строя безвозвратно.
  3. поверхность воды не пропускает урон из-за ограничений игрового движка.

В процессе игры против опытных пилотов сеть теряла свои зенитные установки. Вместо того чтобы продолжать терять дорогостоящее ПВО, сеть нашла решение. Она начала загонять зенитки в море на такую глубину, чтобы вода доходила до башни, но не выше. Двигатель выходил из строя, техника становилась неподвижной, но башня с зенитным вооружением оставалась полностью функциональной. При этом водная поверхность защищала установку от любого урона сверху.

Результат оказался поразительным: сеть перестала терять ПВО и начала активно сбивать вражескую авиацию. Игроки были бессильны, единственным способом уничтожить такие позиции стала отправка пехоты для физического устранения зениток с земли.

Здесь проявляется критически важный аспект эмерджентного поведения. Попытки просто запретить агенту такую тактику не сработали. Невозможно было сказать «не делай так» и ожидать результата, потому что для сети эта стратегия была оптимальным решением в рамках доступных правил. Единственным выходом стало изменение самих условий.

Когда агенту предоставили дальнобойные стационарные радары и интегрировали их в единую сеть с радарами зениток, сеть получила возможность нивелировать превосходство вражеской авиации без необходимости жертвовать мобильностью техники. Только после этого она перестала топить свои зенитки и начала использовать преимущество их передвижения по суше.

Еще более впечатляющий случай произошел, когда один из игроков начал систематически применять хитрую тактику против танков сети. Он подкрадывался к вражеским танкам сзади и накладывал заряд C4 на гусеницу. Танк обездвиживался, экипаж в панике покидал машину, игрок уничтожал экипаж, а затем чинил танк и использовал его уже против самой сети. Эта стратегия работала раз за разом.

Но сеть адаптировалась способом, который можно назвать почти зловещим. Танки начали выезжать на открытые поляны и выключать двигатели, притворяясь брошенными или выведенными из строя. Когда игрок приближался к такому якобы беззащитному танку, происходило следующее: двигатель резко заводился, танк начинал ездить по кругу вокруг игрока и методично расстреливал его из командирского пулемета.

После уничтожения угрозы танк спокойно возвращался на свою поляну и снова замирал, ожидая следующую жертву. Что особенно показательно, если на поле боя присутствовали другие реальные угрозы, танк не тратил время на эту ловушку, а нормально участвовал в бою. Сеть научилась оценивать тактическую ситуацию и применять обман только тогда, когда это было целесообразно.

Еще один показательный случай произошел, когда агенту дали поиграть против необученных игроков. Сеть быстро обнаружила, что для победы над неопытными противниками достаточно простых фланговых маневров. Проблема в том, что она адаптировалась к слабым оппонентам и упростила свои стратегии до примитивного уровня. Фактически агент «отупел», оптимизировавшись под легких противников. Пришлось откатывать всё обучение за этот период, потому что наработанный опыт оказался вредным.

Эти примеры показывают фундаментальную особенность машинного обучения с подкреплением - эмерджентность. Нейронная сеть не понимает наши намерения, она лишь максимизирует награду в рамках предоставленных правил. Эмерджентные стратегии возникают именно из этого разрыва между тем, что мы хотим, и тем, как мы это формализуем.

У меня таких историй за десятилетие на целый цикл статей накопилось, но сейчас не время и не место публиковать подобное.

Obezyan
()
Последнее исправление: Obezyan (всего исправлений: 1)
Ответ на: комментарий от Obezyan

Круто, конечно. Как жаль, что я слишком примитивен для всего такого. Я бы очень хотел чем-то таким заниматься. Это как наблюдать за тем как ребёнок растёт.

Но вот это ставит огромный вопрос:

Проблема в том, что она адаптировалась к слабым оппонентам и упростила свои стратегии до примитивного уровня. Фактически агент «отупел», оптимизировавшись под легких противников. Пришлось откатывать всё обучение за этот период, потому что наработанный опыт оказался вредным.

Нас с тобой не откатывают. Получая разный опыт мы его консолидируем. В такой ситуации мы бы не изменили тактику, а применили бы новую не потеряв старую. И обнаружив, что одна из них не выгодна в такой-то ситуации сделали бы вывод и вернули ту которая была выгодной. Как же такому научить?

PcheloBiaka
()

Этот гребанный киберпанк начинает напрягать

James_Holden ★★★★★
()
Ответ на: комментарий от PcheloBiaka

Нас с тобой не откатывают. Получая разный опыт мы его консолидируем. В такой ситуации мы бы не изменили тактику, а применили бы новую не потеряв старую. И обнаружив, что одна из них не выгодна в такой-то ситуации сделали бы вывод и вернули ту которая была выгодной. Как же такому научить?

Вот для решения этой проблемы и нужно использовать нетрадиционные топологии нейронных сетей, о которых я писал в статьях. Сейчас сеть использует сложную, но классическую топологию (Two headed BiLSTM). К концу этого года планирую переход на нетрадиционную архитектуру.

Obezyan
()
Ответ на: комментарий от LINUX-ORG-RU

Не задавят. Был анализ, где явно боты пишут, там не выстраивается никаких связанных диалогов.

Я бы тут проявил разумную паранойю и предположил бы, что бот под контролем человека пытается повторить операцию аналогичную xz, с захватом контроля open source проекта.

atrus ★★★★★
()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)