LINUX.ORG.RU

54 из 55 выявленных через AI уязвимостей в SQLite оказались фиктивными

 , , , ,


0

4

https://www.opennet.ru/opennews/art.shtml?num=66023.

Исследователи из компании JFrog проанализировали опубликованные на днях 55 отчётов об уязвимостях в SQLite. На основании данных отчётов организация MITRE присвоила всем проблемам CVE-идентификаторы. Три проблемы получили статус критических, а самой опасной уязвимости (CVE-2026-51302) компания Red Hat присвоила в своих базах уровень 10 из 10, а SUSE — 9.8 из 10. Детальное изучение заявленных ошибок показало, что 54 из 55 уязвимостей, включая отмеченную критическую проблему, являются фикциями и вызваны галлюцинациями AI-модели.

В самой опасной уязвимости было заявлено обращение к памяти после её освобождения в функции exprComputeOperands(), приводящее к возможности выполнения кода при выполнении специально оформленного запроса. Разбор показал, что данной функции не существует в кодовой базе SQLite 3.41, в которой заявлено наличие проблемы (данная функция появилась значительно позднее). Источником возникновения уязвимости было заявлено оставление висячего указателя в функции sqlite3ReleaseTempReg(), но её логика работы не подразумевает освобождением памяти и ограничивается пометкой памяти для повторного использования, что исключает возникновение проблем класса use-after-free в силу архитектуры.

В других заявленных опасными проблемах аналогично упоминались несуществующие файлы и функции, строки кода не имеющие ошибок или реальные функции, но с другим числом аргументов. Заявленные в отчётах ошибки не подтвердились, а проверка приведённых прототипов эксплоитов показала, что все они нерабочие и не вызывают даже аварийное завершение, несмотря на заявления о возможности выполнении кода через отправку SQL-запроса.

При выделении CVE-идентификаторов уязвимостям и оценке уровня опасности организация MITRE не выполняет реальную проверку, что позволяет любому подать заявку на несуществующую проблему, отправив сфабрикованное описание. Подобные реалистично выглядящие, но фиктивные отчёты о критических проблемах, приводят к замусориванию баз данных с информацией об уязвимостях и пустой трате времени на изучение и попытки исправления несуществующих уязвимостей. При использовании AI для разработки исправлений, AI-агент на основе предоставленного описания несуществующей ошибки может подготовить патч, принятие которого приведёт к внесению ненужных изменений.

★★★★★
Ответ на: комментарий от BruteForce

Я тогда не понимаю, какой процесс ты называешь галлюцинированием

Мне кажется, я вполне понятно объяснил. Наверное можно погуглить более доходчивые объяснения от тех, у кого язык подвешен лучше.

как отличить его от негаллюцинирования и если отличить можно, то почему нет (теоретической) возможности исправить БЯМ, чтобы исключить первое.

Чтобы отличить, нужно перелопатить весь интернет, или всю обучающую выборку. Изнутри модели это сделать нельзя, не обращаясь к внешним источникам. Если не делать модель всего на несколько сотен гигов или пару терабайт, а дать ей доступ ко всем петабайтам информации, а также разрешить после каждого ответа сверять его с ними (или каким-то образом делать это через интернет), то можно было значительно уменьшить количество галлюцинаций (за счёт тормозов и удорожения всего этого на порядки). Точнее они всё равно будут, но галлюцинации будут отбраковываться прежде, чем дойдут до юзера (похоже, по этому пути сейчас идут разработчики передовых моделей). Не в 100% случаев, конечно, но значительно снизить вероятность получения юзером «бреда» на выходе так можно.

Также прошу заметить, я не говорил, что невозможно создать не галлюцинирующую БЯМ, только что это особенность работы ныне существующих и популярных — прежде всего конкретно генеративных предобученных транрсформеров (ГПТ). Понятие БЯМ шире, чем ГПТ, и фундаментальных причин, делающих создание негаллюцинирующей БЯМ, нет. Но проблема не решается «улучшением» ГПТ или других ныне эффективно существующих моделей. Как именно сделать модель, в архитектуре которой галлюцинирования не будет, но при этом она будет достаточно эффективной, я не знаю, как я говорил выше — если бы знал, был бы автором чего-то приносящего миллиарды нефти. Но чисто фундаментально никто не говорит, что это невозможно. Невозможно конкретно с ГПТ, но не с БЯМ в принципе и тем более не с «ИИ» в целом.

CrX ★★★★★
()
Ответ на: комментарий от peregrine

Галюны (именно которые галюны) они происходят не из-за угадывания и нравится/не нравится нам результат, а из-за недостатка информации в обучающих данных по какой-то теме/сложной топологии в n-мерном пространстве

Звиздешь. У БЯМ можеть быть заложена вся инфа, но она все равно может сбрехать. Даже нарот давно заметил: звиздит, но если начинаешь тыкать в неправду и допытываться, то выдает правду. Брешет сначала потому-что вероятность выдачи неверной инфы ненулевая. А правду начинает говорить, потому-что входным контекстом просто уменьшаешь эту вероятность.

slew
()
Ответ на: комментарий от CrX

Не спорь ИИ-адептом. Дай ему возможность обосраться. Я тоже спорил когда-то но потом постарел и поумнел. И понял что а пусть дураки поедят собственного говна. Им полезно. Там бактерии полезные для пищеварения.

ckotctvo
()
Ответ на: комментарий от slew

Даже она одинаковый промт может быть выдан немного разный ответ… а иногда и намного. :)

sabacs
()
Ответ на: комментарий от slew

У БЯМ можеть быть заложена вся инфа, но она все равно может сбрехать

Вот препод студентам тоже всё рассказывает, по чему вопросы на экзамене. А они такого набрешут, что по-хорошему надо пол группы а то и всех на пересдачу.

Это как раз вопрос к пространству многомерному. Если плохо оно отобразилось внутри (что в виде весов нейронки, что в виде памяти студента), то будут галюны.

peregrine ★★★★★
()
Ответ на: комментарий от CrX

Хорошо, т.е. есть смысл публиковать «новости» аля «Вася Пупкин опубликовал свой навайбкоженный мусор на гитхабе»? Выхлоп - нулевой.

ac130kz ★★★
()
Для того чтобы оставить комментарий войдите или зарегистрируйтесь.