LINUX.ORG.RU

Грег Кроа-Хартман рассказал, что LLM стали лучше искать ошибки

 , ,


0

2

Грег Кроа-Хартман (Greg Kroah-Hartman), нидерландский разработчик Linux, рассказал The Register, об изменениях в поступающих отчётах об уязвимостях, генерируемых «искуственным интелектом».

С месяц назад качество ИИ-шных отчётов об уязвимостях резко повысилось. Ранее большая их часть была мусором, но по мнению Кроа-Хартмана это не было большой проблемой для ядра (в отличие от cURL) — разработчиков много, и они справлялись, а мусор скорее веселил, чем беспокоил. Но последний месяц значительная часть присылаемого действительно полезна. И это наблюдается и в других открытых проектах. Почему — неясно. То ли улучшились инструменты, то ли люди начали правильно ими пользоваться.

Присылающие отчёты и патчи разработчики начинают честно помечать сделанное ИИ как таковое. ИИ уже сейчас способен генерировать десятки патчей, если условия возникновения ошибки просты и легко определяются.

По поводу переданного Гуглом Sashiko, Кроа-Хартман сказал, что им нужен инструмент для быстрой оценки присылаемых патчей. Большинство патчей уже сейчас проходят через него. И он доступен всем.

LLM для ревью первыми стали использовать разработчики сетевой подсистемы и BPF. Затем DRM. Но это требовало много ресурсов. С инструментом Гугла это стало доступно всем, и всё приведут к общему интерфейсу.

Эти проверки — «в дополнение» к имеющимся, а не «окончательные». Они позволяют быстрее отвечать присылающим патчи разработчикам. Кроа-Хартман ожидает, что количество ИИ-шных отчётов об ошибках и патчей будет расти, и ищет способы ускорить их обработку. Если что-то не проходит автоматическую проверку, мэйнтэйнер может на него не отвлекаться.

Кроа-Хартман считает, что ИИ облегчил поиск уязвимостей и увеличил нагрузку на мэйнтэйнеров ядра. Поэтому будет правильно облегчить работу мэйнтэйнеров при помощи ИИ.

>>> Пересказ на opennet.ru

>>> Интервью (английский)

★★★★★

Проверено: CrX ()
Последнее исправление: CrX (всего исправлений: 1)

Но последний месяц значительная часть присылаемого действительно полезна. И это наблюдается и в других открытых проектах. Почему — неясно

Тоже мне тайна. 17 февраля релизнулся Claude Sonnet 4.6

red75prim ★★★
()

ИИ облегчил поиск уязвимостей и увеличил нагрузку на мэйнтэйнеров ядра
будет правильно облегчить работу мэйнтэйнеров при помощи ИИ.

что-бы коровы меньше ели и больше довали молока ...

sunjob ★★★★★
()
Последнее исправление: sunjob (всего исправлений: 1)
Ответ на: комментарий от red75prim

17 февраля релизнулся Claude Sonnet 4.6

Думаю, у него есть причина не считать наличие Claude Sonnet 4.6 достаточным для генерации немусорных отчётов. Иначе бы он был более уверен в предположении, что новый инструмент.

question4 ★★★★★
() автор топика
Ответ на: комментарий от question4

Вот именно. Он там что-то про инструменты гугл пишет. Клод - это не гугл, а Антропик. Не заплатили же ему за рекламу…

seiken ★★★★★
()
Ответ на: комментарий от seiken

Он там что-то про инструменты гугл пишет. Клод - это не гугл, а Антропик. Не заплатили же ему за рекламу…

Если бы была уверенность, что отчёты генерирует Клод и указание топить Клод — он мог бы обтекаемо сказать, что всем известно, какой инструмент появился месяц назад и теперь заливает всех слопом. Не назвал какой конкретно — не клевета, придраться не к чему.

Если указания топить не было, остаётся возможность сотрудничества, и можно было бы сказать, что присматриваются к этому инструменту.

Ни того ни другого не было. Значит уверенности нет.

question4 ★★★★★
() автор топика
Ответ на: комментарий от seiken

Он там что-то про инструменты гугл пишет. Клод - это не гугл, а Антропик. Не заплатили же ему за рекламу…

Не, гугл дал инструмент разработчикам ядра, но ИИ патчи я так понял им присылают юзеры, у которых этого нет, зато есть Claude Sonnet 4.6

goingUp ★★★★★
()
Ответ на: комментарий от goingUp

Не, гугл дал инструмент разработчикам ядра, но ИИ патчи я так понял им присылают юзеры, у которых этого нет, зато есть Claude Sonnet 4.6

seiken об этом и говорит.

Кроа-Хартман про Клод не говорит. У нас с seiken разные гипотезы о причинах.

question4 ★★★★★
() автор топика
Ответ на: комментарий от question4
AI_1 = исправляет_ошибки (HUMAN)
AI_2 = исправляет_ошибки (HUMAN * AI_1)
AI_3 = исправляет_ошибки (HUMAN * AI_1 * AI_2)
AI_4 = исправляет_ошибки (HUMAN * AI_1 * AI_2 * AI_3)
...

ну а в стихах (простите, рекурсии) это просто великолепно! :о)

sunjob ★★★★★
()
Последнее исправление: sunjob (всего исправлений: 6)
Ответ на: комментарий от sunjob

Если черви выбрались из банки, то единственный способ посадить их опять в банку не запачкав руки — воспользоваться банкой большего размера. В обсуждаемом случае этот принцип скорее всего тоже применим.

imul ★★★★★
()

сколько там финансирования от microslop он получил?

mittorn ★★★★★
()
Ответ на: комментарий от cobold

Linux Foundation получил средства для решения проблем с безопасностью ПО с открытым кодом

мы живём в мире удивительных совпадений

Это не совпадение. Эти 2 новости — об одном и том же процессе с разных сторон.

question4 ★★★★★
() автор топика
Ответ на: комментарий от imul

так я не понял, где в банке («в консерва-тории») надо подправить что-то?!

уточняю - я не понял как реально «решается проблема» (если только как обрисовал в предыдущей «блок схеме»).

расчитывается на «такую вот итерационную зачистку кода»?
я с большими моделями не работал, но вот бесплатные/ai-чаты, как показала практика, только портят с последующими итерациями (видимо, контекста не хватает)

буду благодарен за обьяснение (того чего я не понимаю или понял неправильно)

спасибо

sunjob ★★★★★
()
Ответ на: комментарий от sunjob

я не понял как реально «решается проблема»

Пока проблема ещё поддаётся решению вручную. В ближайшее время ожидают увеличение объёма.

расчитывается на «такую вот итерационную зачистку кода»?

Да.

я с большими моделями не работал, но вот бесплатные/ai-чаты, как показала практика, только портят с последующими итерациями (видимо, контекста не хватает)

Пока они задействовали LLM для отсева мусорных сообщений. И будут пробовать для написания простых патчей.

бесплатные/ai-чаты,

У большинства разработчиков ядра не было железа для запуска чего-либо мощнее. Теперь Гугл им это дал.

question4 ★★★★★
() автор топика
Ответ на: комментарий от question4

выглядит как-то мутно и пугающе! :о)

спасибо за пояснение.

sunjob ★★★★★
()

А почему все истории про успехи ИИ строятся по одному шаблону: «Вот раньше всё было как-то очень не очень, но вот теперь-то оно ого-го какое, а что дальше будет и подумать страшно»?

ugoday ★★★★★
()
Ответ на: комментарий от ugoday

А почему все истории про успехи ИИ строятся по одному шаблону: «Вот раньше всё было как-то очень не очень, но вот теперь-то оно ого-го какое, а что дальше будет и подумать страшно»?

Здесь история про успех?

Может, это плохо заметно в пересказе, но Кроа-Хартман считает, что в ядре много неизвестных дыр, и LLM-инструменты в ближайшее время найдут много новых и завалят их срочной работой по латанию. Поэтому вынуждены хвататься за предложение Гугла.

question4 ★★★★★
() автор топика
Ответ на: комментарий от ugoday

Потому что у них прогресс шибко уж стремительный. Их обновляют, ломают, развивают буквально каждую неделю радикально.

Если год назад они тысячу строк обработать не могли, два года назад не могли просто нарисовать кнопку, сейчас легко обрабатывают полметра кода, шустро в нем ориентируются.

Тут похоже они быстрее научатся понимать чего от них хотят человеки со своими тупыми косноязычными запросами, чем человеки научиатся правильно составлять промты. Что скорее плюс, чем минус.

Вот раньше (до революции) электромобили были как то не очень, а сейчас чуток набирают популярность.

LightDiver ★★★★★
()
Последнее исправление: LightDiver (всего исправлений: 1)
Ответ на: комментарий от ugoday

Нууу потому что раньше оно безусловно было не очень, теперь оно в некоторых областях действительно ого-го какое, а дальше и в самом деле будет п***ц.

thesis ★★★★★
()
Ответ на: комментарий от thesis

Ещё нет. Но, похоже, выделили машины, способные эти LLM тянуть. И разработчики уже счастливы.

question4 ★★★★★
() автор топика
Ответ на: комментарий от seiken

Клод - это не гугл, а Антропик.

В антигравити есть доступ к клоду, пусть и с нищими лимитами на про.

KillTheCat ★★★★★
()
Ответ на: комментарий от thesis

А дальше, все начнут замечать, что Грег активно участвует в разработке, но его давно никто не видел в живую. Кто-то пойдёт его навестит и найдёт его высохший труп годичной давности.

bdrbt
()
Ответ на: комментарий от red75prim

Тоже мне тайна. 17 февраля релизнулся Claude Sonnet 4.6

Чем он принципаильно отличается от на 95% таких же соннетов, выпущенных до него?

byko3y ★★★★
()
Ответ на: комментарий от byko3y

Чем обычный программист принципиально отличается от плохого? Вот примерно тем-же самым. Меньше ошибок разных видов, может обрабатывать бОльшие участки кода и т.п.

red75prim ★★★
()
Ответ на: комментарий от red75prim

Чем обычный программист принципиально отличается от плохого? Вот примерно тем-же самым. Меньше ошибок разных видов, может обрабатывать бОльшие участки кода и т.п.

Меньше ошибок у них есть только в твоих фантазиях: https://openlm.ai/chatbot-arena/

Да, плюс-минус пол процента прироста на каких-то бенчмарках там есть, но радикально это картину никак не меняет. Они все как братья близнецы, только с немного разными родинками.

byko3y ★★★★
()
Ответ на: комментарий от byko3y

В курсе что они там меряют? Elo-рейтинг по оценкам пользователей. Если оба ответа правильные (что для последних моделей не редкость), то измеряются вкусовые предпочтения пользователей по оформлению ответа. Вкусы у всех разные, так что рейтинг сильно не растёт. SWE-bench показывает рост объективно правильных фиксов кода.

red75prim ★★★
()
Последнее исправление: red75prim (всего исправлений: 2)
Ответ на: комментарий от red75prim

релизнулся Claude Sonnet 4.6

Он платный? Он не заблокированный для России?

«Unfortunately, Claude is only available in certain regions right now. Please contact support if you think you’re getting this message in error.
View supported countries»

Saakx
()
Последнее исправление: Saakx (всего исправлений: 1)
Ответ на: комментарий от red75prim

https://spec-weave.com/docs/guides/ai-coding-benchmarks/#swe-rebench-decontam...

Опять бенчмарки не бенчмарки?

Этот весь нейросетевой пузырь Понци не вчера придуман: берём миллиарды доллров, показываем чуть cherry pick-аем чуть лучше результаты на узком спектре задач, грим «а вот завтра ещё в десять раз лучше будет, дайте нам больше денег». И где это в десять раз лучше? Для разработки одной Opus 4.6 за 4 месяца антропик влюбил порядка $200-400 млн... Чтобы получить на 4% выше цифры по сравнению с 4.5 — вот это революция.

Я здесь подчёркиваю расходы, потому что если потратить триллионы долларов на заучивание всех оттенков задач со всеми решениями, то можно показать намного лучше результаты любой нейросеткой. Собственно, последние 5 лет именно это индустрия и делает, если вспомнить масштабы GPT 2/3 — это не качественный рост, а количественный, больше времени тренирововки, больше датасеты, больше параметров модели — вот и вся революция.

Доходы и расходы Anthropic примерно удваиваются каждый год, особенно расходы — OpenAI с подобной политикой начал прогорать уже во второй половине 2025. Моя ставка — Anthropics начнёт загибаться где-то к середине 2026.

byko3y ★★★★
()
Ответ на: комментарий от Saakx

Он платный? Он не заблокированный для России?

Доступ можно через реселлеров купить, будет и без КВН работать.

maxcom ★★★★★
()
Для того чтобы оставить комментарий войдите или зарегистрируйтесь.