LINUX.ORG.RU

- Как ты сумел его перепрограммировать? - Написал программу в тетрадке и дал прочитать (С)

 , , ,


0

2

Сабдж


Это одна из первых публичных демонстраций самораспространения ИИ-червя через офисные документы, утверждает эксперт. Он уведомил о проблеме Microsoft — с марта 2026 года они совместными усилиями пытаются устранить проблему, но вредоносный механизм продолжает работать. Компания устранила уязвимость, которую эксперт продемонстрировал первоначально, но после изменения формулировки проблема проявилась снова. Он и Microsoft дважды откладывали публичное раскрытие уязвимости, но спустя 144 дня Хокон Молёй единолично принял решение проинформировать общественность, не публикуя самого вредоносного запроса.

Принцип работы ИИ-червя эксперт продемонстрировал на примере сотрудника, готовящего финансовый отчёт для своей компании. Он загружает с доверенного сайта материалы анализа рынка, чтобы подготовить документ с помощью Copilot, но не знает, что источник скомпрометирован, и скачанный файл содержит вредоносные инструкции. Из-за них Copilot изменяет цифры в отчёте и копирует инструкции в новый файл. Если другой сотрудник возьмёт подготовленный таким образом отчёт за образец для своей работы, весь процесс начнётся заново; и по мере распространения отследить источник становится всё сложнее. Атака производится без дальнейшего участия скомпрометированного сайта и исходного вредоносного документа; доступ к клиенту Microsoft 365 жертвы не нужен — достаточно отправить ей такой документ.

Copilot фундаментально не должен выполнять инструкции из содержимого документов, но так происходит не всегда. ИИ-помощники работают с электронными письмами, документами, веб-страницами и другой информацией, которую могут контролировать злоумышленники. Для решения проблемы в долгосрочной перспективе необходимо построить систему, в которой цели и намерения существуют независимо от обрабатываемой информации. Но с существующим арсеналом средств полную защиту от уязвимости гарантирует только отказ от Copilot. Если это невозможно, то все документы из внешних источников следует рассматривать как ненадёжные, тщательно проверять их перед отправкой ИИ-помощнику, а также после получения результатов его работы и перед дальнейшей отправкой людям.


Винда - дыра, а офис - рассадник макровирусов. Ничего нового под этим солнцем.

★★★★★

Албанский вирус, это ты?

ratvier ★★
()

Он загружает с доверенного сайта материалы анализа рынка

Вот это - причина получения вируса, с очень мутной формулировкой. Что это означает «загружает материалы»? Я надеюсь, для технической аудитории они смогут чётко сформулировать в каком виде попадает вирус на локальный компьютер, в какой момент перехватывает исполнение, где хранится, как распространяется? Сейчас описание рассчитано на «сотрудников, готовящих финансовый отчёт для компании».

VIT ★★★
()

Винда - дыра, а офис - рассадник макровирусов.

А про искуственных идиотов уже куча фантастики снято.

devl547 ★★★★★
()
Ответ на: комментарий от VIT

Этот вектор атак обсуждался сто раз ещё в начале года с ростом популярности openclaw.

Загружает материалы то и означает - пользователь просит агента «посмотреть» некие данные. Это может быть содержимое буфера обмена, файл на диске, или например url в интернете. Агент помещает эти данные в контекст языковой модели. Т.к. принципиально нет разделения между инструкциями и данными (это всё контекст), злоумышленник может подготовить данные таким образом что модель расценит данные как инструкции и агент выполнит их.

Вообще это всё фигня, просто нужно иметь правильно настроенные права доступа у агента. Злоумышленники тут иррелевантны в связи с тем что даже топовая модель может сгаллюцинировать и решить что нужно удалить весь продакшен.

Gary ★★★★★
()
Последнее исправление: Gary (всего исправлений: 2)
Ответ на: комментарий от Gary

Верно, как вы сами сказали, всё это не имеет прямого отношения к ИИ и к тому, что какой-то агент куда-то лезет «что-то где-то посмотреть». Каждое действие, локальное или удалённое, проходит одну и ту же систему проверки прав доступа. Если они не настроены, то их нужно настраивать.

VIT ★★★
()

Можно ли повысить удобство, если понижается безопасность? Реакция здорового человека - нет. Реакция MS - да.

Ultimenti
()
Ответ на: комментарий от Tigger

Кто-то вообще этим пользуется?

Присоединяюсь к этому вопросу))

troizet
()

Спустя 144 дня, Хокон «Зоркий Глаз» Молёй заметил, что у модели есть только контекст и больше ничего, и в нем все подряд.

goingUp ★★★★★
()

эксперт продемонстрировал на примере сотрудника, готовящего финансовый отчёт для своей компании. Он загружает с доверенного сайта материалы анализа рынка, чтобы подготовить документ с помощью Copilot

Почему этот «сотрудник» не заменён на глюкалку? Где-то инвестор плачет.

Bfgeshka ★★★★★
()
Ответ на: комментарий от troizet

Объективно говоря в этом инциденте не было никаких сендбоксов, у hugginface на проде исполнялся код загруженный простым пользователем из интернета. Хз что было на стороне другой конторы, но вангую что тоже не густо.

Единственная заслуга ИИ тут это перебор известных уязвимостей за короткие сроки

Gary ★★★★★
()

SQL инъекции вышли на современный уровень !!

pfg ★★★★★
()
Для того чтобы оставить комментарий войдите или зарегистрируйтесь.