LINUX.ORG.RU

Основатель curl о проблеме созданных LLM отчётов об уязвимостях

 , ,


1

0

Основатель и главный разработчик проекта curl Дэниэл Стенберг (Daniel Stenberg) обратил внимание на проблему массовой отправки сообщений об уязвимостях, созданных LLM через платформу HackerOne. Подобные сообщения перегружают разработчиков, так как для их проверки необходимо время, которое несравнимо с тем временем, которое нужно для создания подобных отчётов при помощи LLM.

В качестве примера такого сообщения он опубликовал один из таких отчётов - #3125832. Первоначальный патч в нём не подходит ни к одной версии утилиты, для которой он сделан. На уточняющие вопросы от разработчиков его автор отвечал на не заданные вопросы (например, что такое циклическая зависимость), приводил примеры несуществующих функций в утилите и давал инструкции, как использовать git для применения патча.

В ответ на увеличение количества таких сообщений Дэниэл Стенберг предупредил, что теперь авторам необходимо будет отвечать на вопрос «использовался ли AI при его создании» и быть готовыми к дополнительным вопросам, чтобы доказать, что автор действительно проверил результат. Так же любой автор, заподозренный в отправке сообщений, которые можно классифицировать как «AI slop» (низкокачественный контент, сгенерированный LLM) будет немедленно забанен.

Дэниэл Стенберг отмечает, что на данный момент у них нет ни одного примера полезного сообщения об уязвимости, созданного при помощи AI.

Ранее Дэниэл Стенберг уже писал об этой проблеме в своём блоге. Так же о похожей ситуации сообщал Сэт Ларсон (Seth Larson), разработчик из security team в Python Software Foundation.

>>> Подробности



Проверено: maxcom ()
Последнее исправление: maxcom (всего исправлений: 3)

Я этот тикет посмотрел, в нём заголовки так оформлены:

0x00 Overview
0x01 Environment Setup
0x02 Proof-of-Concept Code

И вот сложно сказать - человек ли это так выпендривается, или это ЛЛМ наглюкала. Само собой, это не шаблон тикетов у курла.

Bfgeshka ★★★★★
()

Я скептически отношусь в ИИ, но

так как для их проверки необходимо время, которое несравнимо с тем временем, которое нужно для создания подобных отчётов при помощи LLM.

А почему бы не заюзать ИИ для этой проверки? Не понимаю :(

mx__ ★★★★★
()
Ответ на: комментарий от mx__

А почему бы не заюзать ИИ для этой проверки? Не понимаю :(

Ещё предложи, что бы этот ИИ автоматически применял патчи от ИИ.

AlexVR ★★★★★
()

Блин, да эти штуки с трудом и подсказками пишут баш-скрипты. Какие, к черту, уязвимости? У LLM нет когнитивных способностей и памяти, это инструмент для написания простейших текстов и скриптов. Но народ, я так понимаю, на хайп ведется.

pekmop1024 ★★★★★
()
Ответ на: комментарий от pekmop1024

Странно, я видел как тут кто то пихал куски кода сгенеренные ИИ, я вспомнил как я писал тесты для питона … ну хз, я думал ИИ мог бы это осилить.

mx__ ★★★★★
()

Раньше поехавшие с master/slave воевали, теперь с уязвимостями борьба у них.

imul ★★★★★
()

Цивилизация, которую мы заслужили...

xwicked ★★☆
()

Всё уже давно придумано до нас. Нужно в ответ на такие запросы рассылать универсальный ответ:

«Уважаемый(ая, ые) гр…..! Мы получили и прочли ваше интересное письмо. Сообщаемые вами факты хорошо известны науке и интереса не представляют. Тем не менее мы горячо благодарим вас за ваше наблюдение и желаем вам успехов в работе и личной жизни».

Smacker ★★★★★
()
Ответ на: комментарий от xwicked
"Стихи ненатуральны, никто не говорит стихами, кроме бидля, когда он приходит со святочными подарками, или объявления о ваксе, или какого-нибудь там простачка. Никогда не опускайтесь до поэзии, мой мальчик"
(c) Чарльз Диккенс
mx__ ★★★★★
()
Ответ на: комментарий от mx__

Так потому что LLM - это система вопрос-ответ. Деятельность «проверь на практике в системе XYZ» она не поддерживает.

seiken ★★★★★
()

Сплошной вред от этих невросетей, скоро патчи будут принимать только на физических носителях при личной встречей с обязательной проверкой адекватности кода, а коли что не так - плевать в морду.

Kolins ★★★★★
()

Эта проблема требует некторой настройки банхаммера. Всего то.

kirill_rrr ★★★★★
()
Ответ на: комментарий от Smacker

«Уважаемый(ая, ые) гр…..! Мы получили и прочли ваше интересное письмо. Сообщаемые вами факты хорошо известны науке и интереса не представляют. Тем не менее мы горячо благодарим вас за ваше наблюдение и желаем вам успехов в работе и личной жизни».

Бест регардс

Хев э найс дей

Ваше письмо очень важно для нас, оставайтесь на линии!

Починил.

yaba ★★★
()
Ответ на: комментарий от xwicked

это инструмент для написания простейших текстов и стихов

Стихи пишет хуже баш-скриптов. :)

pekmop1024 ★★★★★
()

для их проверки необходимо время, которое несравнимо с тем временем, которое нужно для создания подобных отчётов при помощи LLM.

Поздравляю Дэниэла, подсветил главную проблему с LLM. Да и в общем с SD тоже.

Писать должно быть дороже чем читать.

Gentooshnik ★★★★★
()
Ответ на: комментарий от mx__

ну хз, я думал ИИ мог бы это осилить.

Тебя тоже поздравляю. Говорить «ну хз, я думал ИИ мог бы это осилить», а потом не проверять результат - это главная проблема пользователей LLM. Да, в общем, и SD тоже.

EDIT: Впрочем, разве можно их винить? У них же квалификации и опыта не хватает для этого… Да, можно.

Gentooshnik ★★★★★
()
Последнее исправление: Gentooshnik (всего исправлений: 1)

AI slop вообще уже как новая угроза сама по себе. Надеюсь, будет большая кампания против сгененированного с помощью AI контента, чтобы был какой-то баланс. По-хорошему нужен какой-то незаметный аналог watermark со спец символами или алгоритмом подобным тем, что в стеганографии, и чтобы всё это дело ещё сложно было обойти.

skywarp
()
Последнее исправление: skywarp (всего исправлений: 2)
Ответ на: комментарий от skywarp

Это сделает всё даже хуже, потому что контент без подобной метки многими будет восприниматься как человеческий, бдительность будет ослаблена.

Camel ★★★★★
()

Первоначальный патч в нём не подходит ни к одной версии утилиты, для которой он сделан.

Я вот заметил, что получить от гитхабовского копилота что-то похожее на рабочий скрипт - вполне возможно. Но если попросить его выдать результат в виде унидифф патча, то всё, это бесполезно! Он выдаёт кривые патчи, и когда его просишь поправить, указывая на проблемы, то он постепенно забывает исходное задание, ради которого всё и затевалось. И начинает генерить полный бред. Спустя час препирательств, можно получить патч, который применяется (хотя мне это так и не удалось), но он будет, вместо кода, редактировать какой-нить коммент, а всё дельное постепенно из него выветривается по ходу правок. :) С ума можно сойти, если пытаться с ним работать.

anonmyous ★★
()
Ответ на: комментарий от anonmyous

Нейросеть справляется с задачей - предельно точно имитирует человека/сотрудника.

maristo
()
Ответ на: комментарий от gns

Нет, там другая система. Бразильская. 😁

sparkie ★★★★★
()

отчеты от касперского и позитива, созданные людьми - того же уровня, что нейродрисня. да и большинство уязвимостей, где для эксплуатации требуется пользователь с правами админа

rtxtxtrx ★★★
()
Ответ на: комментарий от rtxtxtrx

отчеты от касперского и позитива, созданные людьми - того же уровня, что нейродрисня.

… сказал AI дребезжащим железным голосом.

anonmyous ★★
()

Так же любой автор, заподозренный в отправке сообщений, которые можно классифицировать как «AI slop» (низкокачественный контент, сгенерированный LLM) будет немедленно забанен.

Прекрасная новость! Очень, очень хорошая новость! :)

Дэниэл Стенберг отмечает, что на данный момент у них нет ни одного примера полезного сообщения об уязвимости, созданного при помощи AI.

Ваще не новость. Т.е. кто бы сомневался.

dimgel ★★★★★
()

ИИ_повышает_эффективность_труда_программистов.txt

thesis ★★★★★
()
Ответ на: комментарий от maristo

А также успехов для всехов и полный сбыч мечтов.

Smacker ★★★★★
()

Походу, все идет к тому, что патчи будут принимать только от тех, кто подтвердил свою личность через Госуслуги.

somemong
()
Ответ на: комментарий от mx__
 — Я недавно поступил в ваш университет, — сказал он, — и хочу заниматься теоретической физикой.

— Теоретической физикой? — удивился профессор. — Не советую. В этой науке все открытия уже сделаны, осталось подчистить пару дыр.

Ответ профессора Филиппа фон Жолли студенту Максу Планку, 1874 год 
gns ★★★★★
()

было бы лучше банить втихую. один фиг отчеты от людей генерирующих их сейчас в 2025 с помощью ллм это спам от неадекватов. а так такие товарищи теперь будут маскироваться, это не очень-то сложно.

ivan007007
()
Ответ на: комментарий от hobbit

Смотря кто и смотря какие куски, смотря какой язык. Баш они все не умеют. Видимо мало примеров. Питон получше. В любом случае структуру кода нужно самому продумывать и все переделываь. Это же инструмент блин. Им нужно уметь пользоваться, знать его возможности.

Причем они все время развиваются. Вон даже почти все возмоности раста уже знают. КОд пока не умеют, но рост заметен.

Их можно сравнивать с языками программирования в некоторой степени. Чтобы создать программу на питоне, нужно определенным синтаксисом описать чего ты хочешь. По очень срогим правилам. Так же и у них нужно точно описать чего ты хочешь, но с менее строгим синтаксисом естественным языком. Но и качество похуже.

А вот тебя самого не восхищает и не поражает, как что то неживое может понимать контекст, юмор и вообще информацию даже иногда получше, чем живые за счет эрудированности?

LightDiver ★★★★★
()
Последнее исправление: LightDiver (всего исправлений: 2)
Ответ на: комментарий от Gentooshnik

Да и в общем с SD тоже.

Ты дважды добавил это.

  1. Что в твоём понимании SD, а то вариаций от выпендрёжников достаточно.

  2. В данном случае LLM нечто обобщающее. И не надо распыляться что есть XXX или УУУ или ??? или ННН или ЯЯЯ, на совершенно других принципах и намного круче.

AlexVR ★★★★★
()
Ответ на: комментарий от gns

ну из полезных открытий, используемых повседневно можно вспомнить транзисторы, полупроводники, лазеры, микроволновые лучи… квантовая теория в 20 веке была сформулирована… а вся эта теоретическая физика какой-то космологией занимается… в начале 20 века черные дыры, например, «изучали», их даже в итоге открыли, но это никак не применимо… он скорее всего об этом и говорил. физика - это же наука из жизни, но нам для жизни во многом и хватало знаний 19 века.

rtxtxtrx ★★★
()
Ответ на: комментарий от rtxtxtrx

Ну вот с Планка и началось, с его квантованием энергии излучения абсолютно черного тела. А его еще и отговаривали теоретической физикой заниматься. :) Цитата стала историческим анекдотом. Привел в качестве контр-тезиса про мнение Диккенса о стихах :)

Можно еще вспомнить анекдот про Гильберта, который отзывался об одном своем бывшем ученике так, что «на математику у него не хватило фантазии, он стал поэтом» :)

gns ★★★★★
()
Последнее исправление: gns (всего исправлений: 1)
Ответ на: комментарий от LightDiver

А вот тебя самого не восхищает и не поражает, как что то неживое может понимать контекст, юмор и вообще информацию даже иногда получше, чем живые за счет эрудированности?

А что есть этому подтверждение?

mx__ ★★★★★
()
Ответ на: комментарий от LightDiver

А вот тебя самого не восхищает и не поражает, как что то неживое может понимать контекст, юмор и вообще информацию даже иногда получше, чем живые за счет эрудированности

Оно поражает только тех, кто не знает как устроены эти ваши LLM-ы. Это механика, причем далеко не сложная. А так и сейчас полно народа, которые поражаются летающим самолетам (лично таких встречал)

slew
()
Последнее исправление: slew (всего исправлений: 1)
Ответ на: комментарий от ya-betmen

Я забыл написать что это чисто мое мнение, даже сейчас таких полно что думают наоборот, ну это нормально.

mx__ ★★★★★
()
Ответ на: комментарий от mx__

А почему бы не заюзать ИИ для этой проверки?

Потому что «ИИ» (LLM имеется ввиду, я так понимаю) для решения практически полезных задач не пригоден. Оно может только бесполезный мусор генерировать.

Идея использовать ИИ для этой проверки аналогична набрасыванию говна на свой вентилятор в качестве противодействия тем, кто набрасывает говно на другой вентилятор.

Stanson ★★★★★
()
Последнее исправление: Stanson (всего исправлений: 2)
Для того чтобы оставить комментарий войдите или зарегистрируйтесь.
Тема будет перемещена в архив .