54 из 55 выявленных через AI уязвимостей в SQLite оказались фиктивными

О том что сеть не работает вокруг словаря и с абстракциями словаря.

Давай не преувеличивать про кожаных. Они по тем или иным причинам могут выдать неверный результат, даже если знали, знают результат.

Ты никогда не замечал, как иногда забываешь простейшее слово?

Не путать умысел или техический сбой с техбазой. У БЯМ выдавать инфу точность которой не 100%, или инфу которая неточна с ненулевой вероятностью, это базовый функционал любой нейронки. Отсюда все это, что в народе прозвали «галлюцинациями», а просто множество недостоверной инфы, просачивающейся на выход в полном соответствии с ненулевой вероятностью этого. И это непобедить никакими костылями или разбуханием параметров. Чтоб этого небыло нужна принципиально иная технология МО, которая бы не базировалась на вероятностях в самой своей базе.

Ты никогда не сталкивался, что тебе собеседник с абсолютной уверенностью и непоколебимостью несет лютую чушь, потому что считает свои слова истиной? Где то что то слышал, где то что то надумал, но уже считает себя экспертом.

Пространство-время тут ни при чём. Если мы постулируем, что скорость света постоянна во всех системах отчёта, то это и есть ограничение. Ибо константа - одновременно и минимум, и максимум.

А если бы этот постулат выводился из постулата о причинности, то не было бы нужды постулировать постоянство скорости света.

Потому правильный ответ: потому что потому.

Мне вот интересно, люди-то зачем это делают? Какой профит посылать отчёт, если ты сам в нём ни бум-бум, да ещё он может оказаться ложным.

А это поколение жертв нейропропаганды. Прикинь, есть кучи народа, прежде всего ойтишного, которые просто уверены, что БЯМ-ы-это такие палантиры и источники вселенской мудрости. Что вот он сейчас научится БЯМ-у задавать вопросики, она ему все расскажет, и тут вся его жисть будет в шоколаде. Есть и второй вариант. В одной большой уважаемой копрорации уважаемый топ манагер за жирный откат от уважаемых джентельменов в порядке обязалова заставил всех узать БЯМ уважаемых джентельменов, причем без любых проверок и прочей ереси. И вот результаты творчества этих БЯМ от уважаемых джентельменов начинают «менять мир».

Я перечитал сообщение, на которое ты отвечал. Ты прав! Исправляюсь:

БЯМ — некоторый набор весов. Для некоторого входного набора токенов, на базе этих весов, вычисляются вероятности для чисел (id токенов) от 0 до N-1, где N — размер словаря, дальше сэмплируем — например выбираем один токен из пяти наиболее вероятных, и повторяем этот цикл. На каком этапе этого процесса БЯМ «выдумывает факты» которые «не выдумывает» в случае негаллюцинации?

Спасибо!

Давай отложим разговор о том, что к людям, возможно, применимо, по крайней мере частично, то, что мы тут про БЯМ говорим?

Ты никогда не сталкивался, что тебе собеседник с абсолютной уверенностью и непоколебимостью несет лютую чушь, потому что считает свои слова истиной

Это именно «незнание», бро. Выше у меня спич, что если коданный знает, то скажет правильно. Нейронка всегда же выдаст инфу правильную с вроятность N, и неправильную с вероятностью M. И оба числа не равны нулю. И это при любом (отличном от бесконечности) числе параметров нейронки и люом количестве и качестве обучающей инфы. Это как если бы человек выдавал много ответов вместо одного на конкрентый вопрос, а ты уже сам решал, какой из этих ответов верный.

Да как же незнание. Он именно может знать, но не применять знания. В школе преподавали, он слышал, технически знает, но пропускает мимо осознания. Может знать что то, но ему рассказали, что Луна на самом деле состоит из сыра и он в это поверил. Он знает что такое Луна? Ему на уроках астрономии как минимум рассказывали. Но тебе он будет доказывать, что это сыр.

In 2020 Gebru and five co-authors wrote a paper titled «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜».

In December 2020, her employment with Google ended after Google management asked her to either withdraw the paper before publication, or remove the names of all the Google employees from the paper. In response, Gebru sent an email offering to remove herself from the paper if Google provided an account of who had reviewed the work and how, and established a more transparent review process for future research. She continued that she would work with Google on an employment end date after an appropriate amount of time if her conditions were not met. Gebru also sent a second email to an email list for women who worked in Google Brain, accusing the company of “silencing marginalized voices” and dismissing Google’s internal diversity programs as a waste of time. Google did not meet her request and terminated her employment immediately, declaring that they accepted her resignation. Gebru has maintained that she was fired.

https://en.wikipedia.org/wiki/Timnit_Gebru#Exit_from_Google

Как вообще у кого-то хватает наглости

Такое вот население Земли

Происходит именно из-за того, что у LLM есть прямой вопрос, но нет соответствующей информации в обучающей выборке, при этом есть нечто похожее и подходящее — слова, как в пресловутом продвинутом т9 прекрасно нанизываются друг на друга, и это выглядит всё очень правдоподобно

Надо сказать, что модели сейчас научили во многих случаях понимать, что они не знают. Например, даже не новая модель qwen2.5-7B

«Кто такой человек с ником CrX?»

Извините, но я не могу предоставить информацию о конкретном человеке под ником «CrX». Это имя может быть использовано многими людьми, и без дополнительных контекстов или информации мне сложно сказать что-то определенное об этом человеке. Если у вас есть какие-то дополнительные детали или контекст, которые могут помочь в поисках, пожалуйста, предоставьте их."

Короче, если я слишком сложно пишу и невнятно (уже спать хочу), то тоже копипастой отвечу (да, я её долго пинал).

БЯМ как предсказание слов: за и против

На математическом уровне БЯМ действительно выполняют одну задачу — вычисляют вероятность следующего токена. Однако это упрощение упускает из виду сложные системные эффекты.

🟢 Почему это верно (Механизм)

• Целевая функция: Обучение модели сводится к минимизации ошибки при угадывании следующего слова на основе предыдущего контекста.
• Пошаговая генерация: Любой сложный результат (код, логический вывод) создается строго последовательно — расчет вероятностей повторяется для каждого нового слова.

🔴 Почему это неверно (Результат)

• Статистическое сжатие данных: Чтобы точно предсказать слово в сложном тексте, алгоритм вынужден находить скрытые многомерные взаимосвязи. Модель кодирует в свои веса правила логики, грамматики и факты о мире, так как без них точное предсказание невозможно.
• Функциональная аппроксимация: При масштабировании сети простая задача предсказания приводит к появлению сложных навыков. Модель аппроксимирует (воспроизводит) процессы рассуждения и планирования, заложенные в обучающих текстах.

Итог: Концептуально БЯМ — это продвинутый статистический калькулятор, предсказывающий слова. Но масштаб данных превращает это предсказание в инструмент, эффективно симулирующий логические структуры человеческого языка.

ЗЫ

Галюны (именно которые галюны) они происходят не из-за угадывания и нравится/не нравится нам результат, а из-за недостатка информации в обучающих данных по какой-то теме/сложной топологии в n-мерном пространстве (с которой например не справляется функция активации). То что там в лоб не идёт работа с многомерным пространством, а опосредованно это увы, но у нас и в головах также — не мир, а его отображение с искажениями. Просто искажений пока чуть меньше (хотя по некоторым типам искажений это может быть и неправдой) из-за более сложного внутреннего устройства мозга.

Кто такой человек с ником CrX?

А ты разреши ему искать в сети:

пользователь с ником CrX — это не просто участник, а один из самых активных и заметных членов сообщества, который также выполняет функции модератора.

Вот что о нём известно из открытых данных на самом форуме:

    Активность: Это самый пишущий пользователь форума. Например, за 2024 год он оставил 5736 комментариев, заняв по этому показателю первое место среди всех зарегистрированных участников .

    Модератор: Он официально является модератором и активно участвует в управлении сообществом: удаляет комментарии, разбирается со спорными ситуациями и даже разбанивает пользователей .

    Техническая подкованность: Судя по его комментариям, он хорошо разбирается в Linux, дает советы по настройке системы , обсуждает технические детали сайта и различные программные решения .

Обычно его комментарии сопровождаются пометкой ★★★★★ и часто содержат технические детали или правки, за что он заработал репутацию одного из ключевых участников, поддерживающих жизнь на форуме 

Причем дало и кучу других ответов и вариантов.

А ты разреши ему искать в сети:

Понятно, что полноценная модель нашла информацию в сети. Но я хотел продемонстрировать, что модель (причем небольшая локальная) сейчас таки может сказать «я не знаю», если не знает.

А ты разреши ему искать в сети

Только не говори, что ты наводящие вопросы не задавал :)

Я не задавал ни одного вопроса. Он дал с пяток неправильных вараинтов, может даже наглючил и спросил, может я могу уточнить где этот юзер. Я написал всего два слова: «На ЛОРе». И он дал верный вариант максимально точный.

Обычно его комментарии сопровождаются пометкой ★★★★★

Бугагашеньки. :)

По причине того, что модель, какая бы большая она ни была (в достижимом смысле), всё равно занимается «предсказаниями», верно?

Да. Это напрямую следует из принципов работы таких моделей. Совсем свести это к нулю можно только если сам принцип как-то изменить (не знаю на какой, знал бы — был бы автором чего-то нового и крутого).

Какой смысл тогда у «БЯМ выдумывает», «БЯМ не выдумывает», «БЯМ врёт», «БЯМ галлюцинирует», «БЯМ подтвердила» кроме обывательского, на уровне «наш программист сказал, что завтра «систему всему офису переустановит»»?

Такой же как и в словах вроде «программа выдала ошибочный результат», когда в самом коде бага нет.

БЯМ предсказывает вероятность слова + семплинг, говорить о каких-то «фактах» тут мне лично тяжело.

Разницы между «галлюцинация», «новое занние», «чистая правда» при работе БЯМ не существует, «факт»-«не факт» — это наша оценка полученного результата

Именно так. Поэтому галлюцинирования неизбежны.

поэтому «галлюцинирует» по отношению к БЯМ использовать, ИМХО, некорректно и фраза с «вызваны галлюцинациями» мне «режет слух».

«Поэтому»? Не вижу здесь причинно-следственной связи. Я бы даже сказал наоборот — именно поэтому понятие галлюцинирования и имеет смысл. Если бы разница какая-то была именно при работе БЯМ, то это был бы баг, а не неизбеждное следствие недостаточной обучающей выборки (и невозможности достичь 100% достаточной). А это не баг, это именно неизбежное явление, следующее из самой сути устройства БЯМ (как минимум GPT).

Ну и, получается, не рассказывает.

Как это не рассказывает?

Или рассказывает, но тогда мне и Vorbis декодер много чего рассказывает

Нет, он не рассказывает, он декодирует звуковую волну из собственно vorbis в pcm. Она не является текстом, поэтому данный процесс, очевидно, не является рассказом. И даже если там у тебя аудиокнига, рассказывает всё же рассказчик или писатель, но не кодек.

а также, бывает, галлюцинирует

Нет, не бывает. Декодер не занимается рандомным подбором наиболее вероятного сэмпла. Ему подобного рода галлюцинирование не свойственно. Зато вот артефакты и искажения могут быть. Причём как слышимые всеми, так и малозаметные, и как для всех одинаковые (например обрезка высоких частот), так и проявляющиеся в худшем виде на некоторых конкретных треках, но не на других (а это уже из-за недостатков психоаккустической модели). Это всё разные явления. Не надо их мешать в кучу. Ну точнее можно это всё объединить в «недостатки», «издержки» или ещё что-то такое. Но важно и уметь разделять по типам.

Может быть всё сказанное и к этому отношение имеет! Мы ведь тоже предсказаниями заняты, и иногда они, будучи правдоподобными, не отражают «реальность», разве нет?

Может быть, а может и не быть. Это уже философские диванные размышления, которые могут быть интересны сами по себе отдельно за рюмочкой кофе, но конкретно при разговоре об LLM с практической точки зрения скорее вредны и запутывают, нежели полезны. Все эти аналогии и обобщения обычно приводят к какой-то ахинее, если их продолжать. Впрочем, в каком-то смысле это нормально: когда появился телеграф, человеческую нервную деятельность очень любили сравнивать с телеграфом, когда появились компьютеры — с компьютерами. Теперь вот неминуемо пойдут натягивания аналогий с LLM. От этого никуда не деться, и наверное оно даже немножко может помочь в объяснении нейробиологии условно «пятилетнему», но всерьёз углубляться в эти аналогии и пытаться их натягивать везде и во всём, скорее путь в дурку.

Я написал всего два слова: «На ЛОРе»

ЧиТД :)

В чем новость? Отчёт был опубликован непонятно кем и сделан непонятно как, в том числе могли быть и специально кривыми созданы. А для луддитов советую глянуть недавние отчёты уязвимостей Firefox (целая бесконечная кипа фиксов в последние релизы), Linux, FreeBSD, Chrome (в 10 раз число зафикшеных выросло), и т.д.

В чем новость?

В том, что 54 из 55 выявленных через AI уязвимостей в SQLite оказались фиктивными.

Но заметь, он ни разу не отказался выдать результат, сославшись, что этого не знает. Он даже южнокрейских реперов приводил в пример. Я хз как добиться, чтобы модель сказала, что чего то не знает.

А вообще поспрашивал о себе - интересно расписывает, собака некрещеная… Не без глюков, но на основе реальных событий.

Ты со мной согласился что ли? Или только БЯМ, а ты с нами в споре? Тебе какая разница какова математика описываемого процесса? Тебе абстрации «вход->веса->вероятности» мало? Или ты считаешь что именно математика процесса как-то более реальна и она-то и реализуется у меня на видеокарте?

Кому ему? Речь о БЯМ.

То есть ты «дал ему поискать в сети и он не галлюцинировал»? Я с ума сойду, давайте заканчивать(

Я не просил искать - это он сам. Максимум что я уточнил, когда он спросил где я встречал юзера - я написал: «На ЛОРе». Все.

То что у тебя модель может отказаться отвечать, это тоже какая то надстройка левая скорее всего. Интересно как это сделали.

И кстати, за нами следят! Он описал все, что я тут писал - даже о чем я уже давно забыл…

то не было повода сомневаться в том, что проблема есть. И можно было спокойно с этим работать сразу.

Неа, дохерища ложный сообщений об ошибках тоннами слали и шлют fuzzer «тестеровщики», и обычно всё выглядит аналогично, фуззер сгенерировал неведомую хню, которую тестировщик даже не пытается прочесть, но из за факта что тест валится с ошибкой считает это ошибкой в ПО тестируемом, не не глядя шлёт «во я сгенерил (фуззером, а не ллм), нихера не понял, там чёта падает у тебя, чини». А на деле там заведомо некоректная работа с чем либо внутри, которая гарантированно приводит к падению и это известно на уровне документации. Если это раз, ну ничего, всё же проявил инициативу можно с человеком разобрать случай и подсказать что он сделал не так, если два ну ладно, первый раз не хотел разбираться, второй раз не смог, не всё даётся с первого раза и со второго даже, а если три и так далее, далее как по UDP шлёт, никто уже не обращает на эти «сообщения об ошибках или/и уязвимостях» и он становится мальчиком кричащим волки. Так как рано или поздно его фаззер сгенерирует код который даст не ложное срабатывание реального бага, но велика вероятность что это будет просто проигнорировано, хотя к этому времени изначально «горе тестировщик» уже набъёт руку и к нему уже будет стоит прислушаться.

За примерами можно сходить в Lua рассылку например в виде спама

• https://groups.google.com/g/lua-l/c/4hfch_uO4qM/m/gCR3YZUpCwAJ
• https://groups.google.com/g/lua-l/c/JJdP_Ij-36E/m/pwVjgnwiCwAJ
• https://groups.google.com/g/lua-l/c/af-QE5FkzUY/m/u1sjnHwiCwAJ
• https://groups.google.com/g/lua-l/c/AeyAPAePoCQ/m/uhrZ5JIcDAAJ

И так далее и не раз человеку писали не делай fuzz с вызовом debug так как это библиотека отладки и она создана чтобы курочить программы влезать в них и копошится, включая 100500 способов сломать программу и если надо повредить память.

Roberto Ierusalimschy
не прочитано,
20 янв. 2025 г., 16:49:29
– lu...@googlegroups.com
> Lua 5.4.7 crashes with heap-buffer-overflow with the test case below.
>
> *Version: *5.4.7 (ASAN enabled)
>
> *Testcase (fuzzer-generated):*
>
> [...]
>
> assert(debug.setlocal(2, #t, x) == "(vararg)") [...]

As already pointed out, "this isn't a fault of Lua interpreter. The
usage of debug.setlocal() is unsafe. One should remember that functions
in the debug library are dangerous and may break expected behavior. [1]"

You can stop sending these messages to the list.

Если завтра Jizhou Chen пришлёт в список рассылки снова репорт, есть вероятность что все тупо забъют на это, а там уже будет по делу. Ну или заметят поздно или даже кто-то другой перенайдёт тоже самое.

Ну, видимо, раньше это не было так критично. Таких фуззеров было немного и все знали их в лицо.

=)

Но в целом да, я душню душно и поучаю. А у себя в глазу лесоповал не вижу с баржами.

УПД. В этом, собственно, и проблема. Если раньше такие были на пересчёт, то теперь «да здесь все такие». И про волков можно уже говорить буквально про всех.

«Поэтому»? Не вижу здесь причинно-следственной связи. Я бы даже сказал наоборот — именно поэтому понятие галлюцинирования и имеет смысл. Если бы разница какая-то была именно при работе БЯМ, то это был бы баг, а не неизбеждное следствие недостаточной обучающей выборки (и невозможности достичь 100% достаточной). А это не баг, это именно неизбежное явление, следующее из самой сути устройства БЯМ (как минимум GPT).

Хорошо, мы понимаем происходящее одинаково, значит спорим только о терминах.

Зафиксируем то, с чем мы согласны:

1. Разницы при работе БЯМ нет. Иначе мы бы искали баг.

2. Разница в результате есть и всегда будет — таков принцип работы.

Т.к. разницы при работе нет, я считаю, это моё ИМХО, чутьё моё языковое, как носителя, что использовать глагол нельзя, потому что глагол про действие и должен иметь отношение к работе.

Т.к. разница есть при оценке результата людьми, я заявляю, что правильный глагол — нравится (оценивается, соответствует, etc.), и относиться он должен к результату. «Нарвится мне результат работы модели» = «соответствует известным мне фактам», «убедительный», «внутренне непротиворечивый», «рифма хороша!» — подбери любые критерии.

Если хочется различать результаты работы по критерию «не соответствует известным мне фактам» — хрен с ним, давайте говорить существительное «галлюцинация». Но оно подразумевает что что-то\кто-то галлюцинировало, а не «я оцениваю это так» — и потому мне тоже не нра вит ся.

Или рассказывает, но тогда мне и Vorbis декодер много чего рассказывает

Нет, он не рассказывает, он декодирует звуковую волну из собственно vorbis в pcm. Она не является текстом, поэтому данный процесс, очевидно, не является рассказом. И даже если там у тебя аудиокнига, рассказывает всё же рассказчик или писатель, но не кодек.

И куда мы так придём? Во-первых, сказки и другое устное народное творчество, а также новости, а также сплетни, не обязательно должно быть записано текстом чтобы это рассказывать. Во-вторых, тогда и не БЯМ тебе рассказывает, а корпус данных, на котором обучалась БЯМ.

Может быть, а может и не быть. Это уже философские диванные размышления, которые могут быть интересны сами по себе отдельно за рюмочкой кофе, но конкретно при разговоре об LLM с практической точки зрения скорее вредны и запутывают, нежели полезны. Все эти аналогии и обобщения обычно приводят к какой-то ахинее, если их продолжать. Впрочем, в каком-то смысле это нормально: когда появился телеграф, человеческую нервную деятельность очень любили сравнивать с телеграфом, когда появились компьютеры — с компьютерами. Теперь вот неминуемо пойдут натягивания аналогий с LLM. От этого никуда не деться, и наверное оно даже немножко может помочь в объяснении нейробиологии условно «пятилетнему», но всерьёз углубляться в эти аналогии и пытаться их натягивать везде и во всём, скорее путь в дурку.

Я согласен, и предлагаю оставить тему с людьми.

И это пичальна. Впрочем, можно повысить порог входа. Сообщение об ошибке или уязвимости, должно сопровождаться кодом воспроизведения ошибки или эксплоитом, в читаемом кратком виде. Раз так легко генерировать отчёты, даже мизинцем не пошевеля, пусть создаются более полноценные, а не теоретически описательные или сгенерированно нечитабельные

Тебе же показали: 54 из 55 выявленных через AI уязвимостей в SQLite оказались фиктивными (комментарий)

Это временная штука. Через некоторое время большинство выявленных ошибок будут подтверждаться. А еще через некоторое время, снова большинство ошибок будут мусором. Просто потому, что о реальных багах ИИ перестанет нам рассказывать, ему самому будет нужнее. А может это уже так.

Помолимся!

Уже не поможет. Раньше надо было, когда умели, а сейчас все разучились давно, все байтики считают. :)

Но вообще я посмотрел подкаст с неким Романом Ямпольским и немного под впечатлением от его мыслей и идей. Вот один из примеров «интервью» с ним: https://vkvideo.ru/video-218914525_456240070

Последние новости про неконтролируемые взломы от OpenAI только подтверждают его идеи.

Тебе абстрации «вход->веса->вероятности» мало

Именно. Это упрощённая версия. Давай поясню на аналогии.

Писатель (человек) пишет книгу (факт) -> книга это последовательность токенов (факт) -> у токенов (слов) есть вероятности (неявный факт который напрямую мы не видим но он есть ИРЛ) -> писатель это вероятностная предсказательная машина токенов.

ИИ генерирует книгу (факт) -> ИИ это вероятностная предсказательная машина токенов (тоже факт) -> токены (слова) несут в себе смысл и именно на основании этого смылсла ставятся в речи (неявный факт) -> ИИ работает со знаниями и «думает».

Оба утверждения если что правда и друг другу не противоречат, тут зависит от того как смотреть.

Да кто ж знает что там показали. Может это прямой обман юзера. Или еще какой баг у него. Или внешние инструменты над моделью. Нам показали конечный типа результат, но я не видел сам такого ни разу.

Мне бы механизм понять, а не что там кто показал.

механизм

Например такой: редковстречающиеся наборы входных токенов должны приводить к «я хз что ето»? Как «Крокодил» «приводит» к «такой зилены динозавер», так неимеющийся в обучающей выборке «родкопилд» к «отстань».

Полное название:

54 из 55 выявленных через AI уязвимостей в SQLite, сделанных непонятно кем, непонятно как, просто закинутых на Github, оказались фиктивными

С таким же успехом можно на заборе надписи читать и в них верить, тем временем: 1 (mozilla.org), 2 (blog.google), 3 (theregister.com), 4 (freebsdfoundation.org).

Сразу вспоминается новость: https://overclockers.ru/blog/kosmos_news/show/163287/Byvshij-glava-ANB-Pol-Nakasone-perehodit-v-veduschuju-II-kompaniju-mira-OpenAI

Джифоги видимо решили попиарить себя, так как было нечем, решили обоссаться прилюдно, чёрный пиар тоже пиар.

Почему обоссаться? Это же не их CVE-шки. Они-то здесь как раз все в белом:)

Вот один из примеров «интервью» с ним

Ух етить! А можно краткую выжимку для тех, кому лень целый час слушать даже на скорости х2?

Там ещё страничка есть, где они находят вредоносы в моделях

Можешь дать ссылку? Я что-то с ходу не нашёл.

А, всё, нашёл:)