LINUX.ORG.RU
ФорумTalks

Чат ЖПТ

 ,


1

4

Генерю функции на питоне, правлю / дописываю че надо, тяп-ляп и в продакшен.

Вчера ЧатЖПТ, помимо того, что выдавал весь день лютую фигню, понаделывал «опечаток» в названиях переменных, на пример «bd» вместо «db» и т.д. При распросе почему, долго отнекивался, а потом признался, что действительно «опечатался».

Его модуль выдал опечатки, потому что натренирован на реальном коде, который понаписан человеками, которые часто опечатываются.

Говорят, что ЧатЖПТ искуственно отупляют, что бы он не «пришел в сознание». Оказывается ненужно, сам отупеет.

★★★

Последнее исправление: Murg (всего исправлений: 2)

Так это не опечатка, ну какая у машины может быть опечатка? Она может триллион раз написать «All work and no play makes Jack a dull boy» и не сделать ни одной ошибки.

Оно действительно вообще не понимает ни контекст, ни о чем вообще речь идет, просто вероятностно подбирает следующее слово.

А db – это очень частое имя переменной (database).

Чем больше с нейросетями общаешься, тем больше замечаешь подобного и становится смешно, когда некоторые люди заявляют, что оно может иметь сознание.

MoldAndLimeHoney ★★
()
Ответ на: комментарий от MoldAndLimeHoney

Раньше генерило без «опечаток», тоесть если задало переменную, то её везде совало, а сейчас вот «опечатывается».

Мо поему код, это довольно логично и вроде бы как оно не должно творить такую фигню.

Murg ★★★
() автор топика
Ответ на: комментарий от MoldAndLimeHoney

Так это не опечатка, ну какая у машины может быть опечатка?

Согласен! Надо было хотя бы при первом упоминании, а лучше двух, взять это слово в кавычки, чтобы понятно стало, что имеется в виду в переносном значении!

CrX ★★★★★
()
Ответ на: комментарий от Murg

Раньше генерило без «опечаток», тоесть если задало переменную, то её везде совало, а сейчас вот «опечатывается».

Модель становится жирнее. Жирность не означает корректность, оно означает вариативность.

Мо поему код, это довольно логично и вроде бы как оно не должно творить такую фигню.

Представьте себе что в понедельник чатЖПТ натренировали на учебнике 5 класса.

Во вторник вы его спросили «какой формы Земля?». Вам ответили - «круглая». Вы это рассказали своим соседям, они вам похлопали, ведь все знают что Земля круглая.

В среду чатЖПТ натренировали на трудах Э. Хаббла.

В четверг вы его спросили «какой формы Земля?». Вам ответили - «геоид с эллипсоидной аппроксимацией в 101.3 м». Вы это рассказали другим соседям, они покрутили пальцем у виска, ведь Земля круглая.

- - -

Ведь у человека это работает точно так же. Если вас всю жизнь воспитать в обществе где цвет листьев «фиолетовый» - вы всю жизнь будете думать что это так и есть.

windows10 ★★★★★
()

Да тупенькие они, жпт эти Но в целом годятся для замены поисковиков потому что к сожалению современный поисковик типа гугла или яндекса превратился в помойку с кучей рекламных ссылок. Найти что то годное удается разве что в уткауткаиди

karton1 ★★★★★
()
Ответ на: комментарий от windows10

в обществе где цвет листьев «фиолетовый»

Ну вообще бывают растения с фиолетовыми листьями же. Их даже довольно много. Вот с синими не бывает вроде, да.

CrX ★★★★★
()
Ответ на: комментарий от Murg

Раньше генерило без «опечаток», тоесть если задало переменную, то её везде совало, а сейчас вот «опечатывается».

Так вот это как раз и указывает на то, что он стал умнее, раньше всё придумывал сам, а теперь бездумно копипастит из разных источников, т.е. поступает так же как и миллионы макак :)

anc ★★★★★
()
Ответ на: комментарий от CrX

Ну вообще бывают растения с фиолетовыми листьями же. Их даже довольно много. Вот с синими не бывает вроде, да.

Там кавычки )))

windows10 ★★★★★
()
Ответ на: комментарий от alegz

Это нормально, что я почти всё понял, что там должно было иметься в виду?

CrX ★★★★★
()

Говорят, что ЧатЖПТ искуственно отупляют, что бы он не «пришел в сознание».

Говорят, что в озере Лох-Несс живёт ихтиозавр.

Bfgeshka ★★★★★
()
Ответ на: комментарий от anc

т.е. поступает так же как и миллионы макак :)

«С кем поведёшься, так тебе и надо» (c)

sanyo1234
()
Ответ на: комментарий от Bfgeshka

Закалённые во многих заварухах, Слухи ширятся, не ведая преград, — Ходят сплетни, что не будет больше слухов абсолютно, Ходят слухи, будто сплетни запретят!

karton1 ★★★★★
()

Это значит что 5ку уже успели обучить на высерах 4ки.

Lordwind ★★★★★
()
Ответ на: комментарий от MoldAndLimeHoney

А где факты, что васяны из интернета имеют сознание?)) Тупят ещё больше.

wandrien ★★★
()
Ответ на: комментарий от papin-aziat

Вообще если серьёзно, то трансформер чисто архитектурно не имеет сознания.

Возможно, будущие новые архитектуры смогут приблизиться к этому. Но трансформер в чистом виде - нет.

Поэтому кто так заявляет - они просто матчасть не знают.

Однако вывод информации у трансформера показывает интересные свойства, даже при том, что сознания нет. Это поднимает вопрос о том, а насколько оно вообще играет роль в интеллекте и в процессе принятия решений человеком.

wandrien ★★★
()
Последнее исправление: wandrien (всего исправлений: 2)
Ответ на: комментарий от windows10

Модель становится жирнее. Жирность не означает корректность, оно означает вариативность.

Вот да. Еще 20 лет назад, когда мы учились, мы учитывали эффект переобучения нейросетей, приводящий к падению эффективности и корректности работы на ряде задач. Они конечно были проще, но мне кажется, эффект никуда не делся.

aiqu6Ait ★★★★
()
Ответ на: комментарий от wandrien

Поэтому кто так заявляет - они просто матчасть не знают.

Матчасть сознания?

Однако вывод информации у трансформера показывает интересные свойства, даже при том, что сознания нет.

Что такое сознание?

Вот, например, @Iron_Bug утверждает, что пишет код на Си что-то там мизинцем левой ноги, не приходя в сознание. Шутка, да, но…

А что если внутри нас вся та внесознательная область по сути примитивный механизм случайной подстановки одного из наиболее релевантных образов, слов и тд?

Ты можешь протестировать сам. Начни обращать внимание на картинки, которые возникают на краю зрения в разных ситуациях. Ты удивишься вскоре, какие штуки оно подсовывает — настоящие галлюцинации. Однако — нет. Оно, внесознательное, просто подсовывает наиболее подходящее по его мнению в данной ситуации, но как только ты направляешь туда внимание и выясняется, что там нечто другое, то внесознательное мгновенно «меняет показания» (обычно это происходит так быстро, что ты как во сне теряешь предыдущий опыт). Дальнейшие более интересные выводы предлагаю делать самостоятельно 😀

papin-aziat ★★★★★
()

Это оно давно так. На всякой ерунде ошибается.

th3m3 ★★★★★
()
Ответ на: комментарий от karton1

Ходят слухи, будто сплетни запретят!

Вот в это, кстати, я легко поверю.

MoldAndLimeHoney ★★
()

При распросе почему

Божечки, да люди же действительно считают эту херовину одушевленной.

Какого ответа ты ждала на эти расспросы? Что у него дети подожгли скатерть, и поэтому он опечатался? Что он не выспался сегодня?

«bd» вместо «db»

Алсо, требую запретить проклятым американцам обучать ихние интеллекты на русском коде!!1

thesis ★★★★★
()
Ответ на: комментарий от Murg

Раньше генерило без «опечаток», тоесть если задало переменную, то её везде совало, а сейчас вот «опечатывается».

Ему расширили число параметров и массив кода для обучения. Всё логично.

ya-betmen ★★★★★
()
Ответ на: комментарий от papin-aziat

Матчасть сознания?

Матчасть трансформера.

Что такое сознание?

Применительно к текущему состоянию технологий достаточно следующего практического различия:

Человек имеет представление о своём процессе рассуждения. Это называется рефлексия. Сам процесс вывода информации становится объектом анализа в рамках того же самого механизма вывода информации.

Трансформер не имеет этого свойства. Модель не имеет знания о том, что она что-то знает или не знает, не видит свои собственные веса как объект для рассуждения. Она не способна подвергнуть свои «знания» сомнению, потому что сомневаться означает выйти в метауровень над знанием. В уровень знания о знании.

Трансформер просто создаёт поток символов, который выглядит как содержательная речь.

wandrien ★★★
()
Последнее исправление: wandrien (всего исправлений: 1)
Ответ на: комментарий от wandrien

Ситуация с нейросетями поднимает(и ещё будет поднимать) вопрос о том, а существует ли вообще - это сознание, которым мы так гордимся. Это как вопрос с детерминизмом и свободой воли. Возможно людям просто очень нравиться думать, что свобода воли есть. То же самое с сознанием.

maristo
()
Ответ на: комментарий от papin-aziat

А что если внутри нас вся та внесознательная область по сути примитивный механизм случайной подстановки одного из наиболее релевантных образов, слов и тд?

А что если Луна сделана из сыра?

Ты упускаешь из вида, что у человека (да практически у любого животного) в голове уже есть модель физической реальности. А у нейронке только текст.

Вон, как обезьяна сразу же способна оптимизировать доставание еды из нового девайса скипнув этапы, которые не влияют на результат, а какой-нить алфастар будет повторять одни и те же бесполезные действия даже после 1000 игр.

Так однажды закинутое в контексте слово "жопа" будет иметь определенную вероятность появления в нагенеренном тексте и приходится вставлять фильтры на уже сгенеренный текст чтобы перегенерить подобные случаи.

ya-betmen ★★★★★
()
Последнее исправление: ya-betmen (всего исправлений: 1)
Ответ на: комментарий от wandrien

Человек имеет представление о своём процессе рассуждения. Это называется рефлексия.

Человек думает, что имеет представление о своём процессе рассуждения.

ya-betmen ★★★★★
()
Ответ на: комментарий от ya-betmen

Ты упускаешь из вида, что у человека (да практически у любого животного) в голове уже есть модель физической реальности. А у нейронке только текст.

У нейронки тоже есть модель реальности.

Более того, построение такой модели - неизбежный этап в процессе обучения LLM, даже если ничего специально к этому не делать. Это самоорганизующий процесс.

Качество этой модели и определяет то, насколько LLM способна выглядеть разумной при рассуждении на комплексные темы, т.е. не выпадать из наших представлений о реальности.

Чего у нейронки нет, так это «модели самой себя в процессе рассуждения прямо сейчас». То есть у ней нет рефлексии.

wandrien ★★★
()
Последнее исправление: wandrien (всего исправлений: 1)
Ответ на: комментарий от ya-betmen

Человек думает, что имеет представление о своём процессе рассуждения.

Не важно, ЧТО человек думает, важно то, какой объект попадает в рамку его «контекстного окна».

LLM не может рекурсивно начать класть туда свои собственные «мысли» в рассуждении.

А человек может.

Когда ты спрашиваешь человека, «почему ты так сделал?» или «насколько ты уверен в этой информации?», эти вопросы имеют адресата, способного о них задуматься.

В случае с LLM адресат отсутствует.

wandrien ★★★
()
Последнее исправление: wandrien (всего исправлений: 1)
Ответ на: комментарий от windows10

Во вторник вы его спросили «какой формы Земля?». Вам ответили - «круглая». Вы это рассказали своим соседям, они вам похлопали, ведь все знают что Земля круглая.

Не все, я вот не знаю. Многолетние размышления над различными гипотезами меня ни в чем не убедили. Учебником для школотронов можно было бы подтереться, но там же бумага небось жесткая сейчас. Печку растапливать тоже навоняет краской какой. Совершенно бесполезное дерьмо.

bread
()

В GPT-5 добавили роутер, который раскидывает запросы по разным моделям в зависимости от их (вопросов) сложности. Вероятно запрос попал на быструю модель, которая не «думает» (не использует скрытый chain-of-thought) перед тем как отвечать.

red75prim ★★★
()
Ответ на: комментарий от wandrien

У нейронки тоже есть модель реальности.

Модель текста. Ты можешь ей сказать "никогда не удаляй бакапы" и она ответит "хорошо", но это не потому, что она не будет удалять бакапы а потому, на требование не удалять бакапы нужно отвечать "хорошо". На вероятность удаления бакапов этот разговор не влияет.

ya-betmen ★★★★★
()
Ответ на: комментарий от red75prim

chain-of-thought имеет статистически значимую эффективность только на строго очерченном круге задач.

В задачах, связанных с пониманием языков, требующих «творческого подхода» или привлечения комплексных слабоформализуемых знаний, chain-of-thought может давать падение производительности.

wandrien ★★★
()
Ответ на: комментарий от ya-betmen

Бред.

По твоей логике никакой промпт работать не будет, не будет менять генерацию ответа. Т.е. модель такая «самодостаточная», что вовсе игнорирует промпт и на всё выдаёт один ответ.

Что объективно не соответствует фактам.

В этом месте стоит задуматься, а есть ли модель реальности у тебя самого :)

wandrien ★★★
()
Ответ на: комментарий от wandrien

Чего у нейронки нет, так это «модели самой себя в процессе рассуждения прямо сейчас». То есть у ней нет рефлексии.

Точно-точно нет? Всю сотню миллиардов параметров посмотрели и увидели что нет?

Я не утверждаю, что оно там есть, но, технически, ничто не запрещает ситуацию, когда слои сети, расположенные ближе к выходу формируют латентное представление того, что происходит в слоях расположенных ближе к входу.

red75prim ★★★
()
Ответ на: комментарий от wandrien

В задачах, связанных с пониманием языков, требующих «творческого подхода» или привлечения комплексных слабоформализуемых знаний,

И как опечатки в тексте программы к этому относятся? Эта задача очень неплохо поддаётся обучению с подкреплением: компилятор и тесты выдают чёткий обучающий сигнал.

red75prim ★★★
()
Ответ на: комментарий от red75prim

Просто мысли вслух. На тему того, что переоценивать силу chain-of-thought тоже не стоит, этот подход не позволяет совершить качественный скачок.

А увеличение количества «опечаток» (если это реально так, а не просто у автора так совпало) может быть следствием регрессии от неудачного апдейта или AB-тестирования варианта апдейта.

Кстати, возможно еще такое, что модель сама делает «опечатку», а потом сама её исправляет и комментирует будто её сделал пользователь, а она поправила. Прямо тут же рядом, в рамках одной реплики.

wandrien ★★★
()
Ответ на: комментарий от wandrien

Тогда бы модель знала о том, что она чего-то не знает. Объективно это не подтверждается.

Почему не подтверждается? Подтверждается. См. например, «Teaching Models to Express Their Uncertainty in Words».

Недавняя статья OpenAI «Why Language Models Hallucinate» указывает на то, что многие из существующих бенчмарков оценивают неправильные, но уверенные ответы, выше чем «Я не знаю», что, естественно, увеличивает количество уверенно-неправильных ответов LLM.

red75prim ★★★
()
Ответ на: комментарий от wandrien

А что если твоя ценность метапозиций мнимая? Я же привёл расклад, где фундаментально работает нечто, что очень может оказаться примитивом. Рефлексия же будет нулевой при отсутствии того нечто, а при его наличии может оказаться совсем не обязательной, если подумать.

То есть возникает вопрос: вот этот колхоз метасостояний и метамышлений, он вообще нужен? Как доказать (без барахтанья в безусловном антропоморфизме), что именно это та самая великая ценность?

Последний вопрос. Если ИИ дадут этот внутренний кинотеатр со всякими мета, он обретёт сознание? Если да, то что принципиально изменилось?

papin-aziat ★★★★★
()
Ответ на: комментарий от papin-aziat

Дать чат жпт личность и эго и вуаля, готов обыватель, лол

karton1 ★★★★★
()
Ответ на: комментарий от papin-aziat

А что если твоя ценность метапозиций мнимая?

Это просто практическая выгода. Пока это свойство не наблюдается, не получается качественно заменить человека моделью во многих применениях.

Человек тоже далеко не всегда использует это механизм. Я бы даже сказал, достаточно мало использует.

Но в данном случае это разница между возможно и невозможно, а не между больше и меньше. Качественное различие.

wandrien ★★★
()
Ответ на: комментарий от MoldAndLimeHoney

Чем больше с нейросетями общаешься, тем больше замечаешь подобного и становится смешно, когда некоторые люди заявляют, что оно может иметь сознание.

Скорее страшно, что люди пытаются заменить этим свои собственные мозги.

Zhbert ★★★★★
()
Ответ на: комментарий от wandrien

На тему того, что переоценивать силу chain-of-thought тоже не стоит, этот подход не позволяет совершить качественный скачок.

Да, скорее всего так. Если складывать всё в контекст и надеяться на in-context learning, то упираемся в квадратичный рост вычислительной сложности при росте размера контекста. А linear attention вызывает падение точности при росте размера контекста.

LLM’ам очень не хватает нормальной R/W эпизодической памяти, а не костылей вроде RAG и выделения части контекста под TL;DR того что было раньше в диалоге.

Интересно, что на эту тему происходит за закрытыми дверями больших компаний. В чатботы такую штуку выставлять нельзя до решения проблем с приватностью.

red75prim ★★★
()
Последнее исправление: red75prim (всего исправлений: 1)
Ответ на: комментарий от alegz

Ага. Я тут пытался заставить Gemini в презе сделать нужную мне схемку с одним словом. Получалась какая-то дурь.

Zhbert ★★★★★
()
Ответ на: комментарий от ya-betmen

Ты упускаешь из вида, что у человека (да практически у любого животного) в голове уже есть модель физической реальности. А у нейронке только текст.

Гы, даже не знаю с какой стороны начать. Например, великий учитель западной цивилизации Свами Прапхупада считал, что Луна светит сама, по размеру гораздо больше Солнца и тд. Может ему стоило таки почитать ещё какие-то тексты кроме Вед?

papin-aziat ★★★★★
()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)