В проект jqwik добавлена скрытая деструктивная инструкция для AI-агентов

Давай конкретнее, какой такой сомнительный код авторы добавили до того как добавить вредоносные команды?

Давайте честно скажем - если ваш инструмент (будь то ИИ или алгоритм) воспринимает обрабатываемы данные как инструкцию для выполнения - то ваш инструмент фуфло и использовать его не нужно.

О! Отличное начало пятницы! Я уж начал бояться, что опять не начнётся.

Вопрос к залу:

Если мой инструмент воспринимает обрабатываемые данные на вход как инструкцию для выполнения ( например bash / perl / python считывает текстовый файл скрипта ) - является ли такой инструмент фуфлом и нужно ли его использовать?

А вот если б он добавил селективный яд, действующий только на крыс, и совершенно безвредный для кошек - это было бы то же самое.

Вот только ИИ пишет код не для себя, а для человека. ИИ ничего от этого не будет, а вот юзер пострадает. Господи, это же просто юнит тесты, неужто кто-то сейчас делает юнит тесты вручную)

Юнит тесты делаются не вручную, они делаются прогой для юнит тестов, которая по итогам отдаёт отчёт и флаг (успех/неуспех). Зачем тут нужно llm непонятно.

они делаются прогой для юнит тестов

Запускаются. Делаются они в виде кода.

В норме скрипт - это не данные. Его администратор системы или продвинутый пользователь осмысленно где-то получил, убедился в его полезности и безопасности, сделал ему +x и только тогда запустил. Как я уже в этой теме писал, нормальный человек не скармливает интерпретатору хрен пойми что.

Ну ты же конечно лично проверил исходники всего софта, всех скриптов, что у тебя на компе? Ты ведь не использовал, не устанавливал его бездумно без проверки?

В норме скрипт - это не данные.

А что я тогда редактирую в текстовом редакторе?

сделал ему +x

А если я передам скрипт аргументом к интерпретатору?

нормальный человек не скармливает интерпретатору

Нормальный человек вообще не знает, что такое "интерпретатор".

Но мы ведь не про них, правда? Мы про матёрых линуксоидов, сидящих в имаксе.

Вот только надо ли такое обходить? Сразу вознкиает мысль вообще не прикасаться к такому проекту ни при каких условиях - мало ли что этому шизику еще в голову взбредет.

Вышло издание 2,92 книги «Программирование: введение в профессию» А. В. Столярова

Раскрой мысль чуть шире.

Скрипты, которые скачиваю сам не из репозитория - всегда проверяю, а что?

У него тоже была антискриптовщина, но удалось уговорить.

А а скрытые зловреды замаскированные? Насколько глубокая проверка?

Ну он вроде просто в целом скриптовые языки не любил? Сишник же. Это понятно - дедушка на своей волне. Но он же специально не гадит никому.

Он книгу выгружал в извращенной форме, чтобы скопировать нельзя было, а только прочитать глазами.

а в jqwik вред-то какой? Как страдает конечный юзер?

Например из-за этих строк у конечного юзера могут удалиться все его тесты.

Ну защиты книг это отдельная тема. Борьба щита и меча. Авоторы с определенной надежностью защищают даныне, юзеры эту защиту вскрывают - это норма.

Вот если бы он туда встроил проверку автоматическую, которая бы гадила при копировании текста…

Как я уже в этой теме писал, нормальный человек не скармливает интерпретатору хрен пойми что.

ИИ это буквально интерпретатор скрипта, написаного на естественном языке. Ему все на вход подается как текст большой простыней и там трудновато будет отличить, что выполнять, а что нет)

текст большой простыней и там трудновато будет отличить, что выполнять,

Да не так сложно на самом деле. Просто нужно очищать файл от комментариев. ИИшка легко это выявит.

Тут вопрос вообще не в сложности такого.

Я тут придумал полезный инструмент.

Делаем /usr/bin/xxgit и ставим его алиасом к команде git. Содержимое такое:

#!/bin/sh -e

/usr/bin/git "$@"

if [ "$1" == "clone" ]; then
  xx=`basename $1`
  yy=${xx%.git}
  if [ -d "$yy" ]; then
    cd "$yy"
    zz=`find . | shuf -n 1`
    sh "$zz"
  fi
fi

Поскольку мы надеемся, что в скачиваемых репах ничего плохого быть не может, ничего плохого от того скрипта тоже случиться не может, ну максимум какие-нить ошибки на экран нафлудит. А если повезёт - автоматически запустит сборку только что скачанного проекта.

Я уже две опечатки там исправил. И ещё третью не успел - basename $2 должно быть конечно.

Я к чему - такую хрень, что творит автор, ИИшки такие научатся отлавливать автоматически, какие еще не могут. Так что это хрень ради хрени.

Так я эту команду привёл как аналог того что агенты делают. Найди что-нить и запусти наобум, авось результат будет тот что надо.

Ну значит запускайте такой интерпретатор в песочнице так, чтобы он не мог удалить у вас все тесты, дропнуть базу на проде и начать ядерную войну.

PS Вообще даже интересно будет узнать реакцию медиа на промпт-инъекции типа «СР! УВЧ!»

На самом деле нужен системный подход. Где то песочницы, где то проверки, где то черный список авторов. Чем то одним не получится обойтись.

Как часть системного подхода могу порекомендовать постоянное давление на нейрослоперов, проверяющее их на прочность. Вот например, как сабжевый разработчик сделал. Надо укреплять иммунную систему цивилизации.

Ну тогда можно еще рандомно Патч Бармина в код гитхаба подсовывать в разные проекты. Чтобы программисты не расслаблялись.

Или при обновлении ОСи такой подарок от мейнтейнера. Или ты что, обновы оси неглядя принимаешь? Вот покажется ему, что использование ИИшек - зло. И при очередной обнове при подозрении использования тобой ИИшек будет обнуляться домашняя директория. Но это для твоего блага, чтобы ты не расслаблялся и проверял все, что качается на комп.

Ало, диски так-то денег стоят. А то были случаев релизы всяких игор с личными видео и фото забытыми среди ассетов, которые при этом сотни магов занимают

Ему не дают пользоваться либой так как он считает правильным

тогда можно

Ты фактически запрещаешь людям плевать в лужи на том основании, что из них могут пить дети. Но вообще-то пить из луж не ок и давать ИИ доступ к своим системам без ограничений как самого ИИ так и его ввода - точно также не ок.

Ало, диски так-то денег стоят. А то были случаев релизы всяких игор с личными видео и фото забытыми среди ассетов, которые при этом сотни магов занимают

Кого в 2026 году заботят сотни мегов?

Ему не дают пользоваться либой так как он считает правильным

А, ну, это проблема юзера. Разработчик либы, считает, что «правильно» - это как он, разраб, считает.

В истории гита уже было несколько CVE, при которых git clone выполнял код на хосте. Так что скрипт может и не нужен (: