LINUX.ORG.RU
решено Форум — Security  

Взлом искуственного интеллекта?

 , ,


1

2

Как известно, в машинном обучении вывод Y зависит от фидбека, то есть предыдущих входов X, и от текущего X. Но не делает ли это его уязвимым? Что если заддосить входы ИИ, и, тем самым, настроить его извне? Например, выпускается новый сервер капчи («Выберите фото гидранта»), направляем на него DDOS атаку, выбирающую фото котеек, и ломаем ИИ. Интересно и обратное, предусмотрена ли защита от подобного?

★

Ответ на: комментарий от futurama

в «рабочем режиме» прикладного ИИ, к примеру у того же сервера капчи, обучение отключено. т.е. он не меняет «обученные» коэффициенты сети в состоянии «работа».

ну а поломок обучаемых в работе ИИ навалом. один из первых красивых лулзов помнится был у микрософт, которые допустили ИИ в один из чатов.
интеллектуальный чат-бот быстренько научился ругаться, ненавидеть негров и что-то там еще общественно непотребное. за что его и отключили :)
обучили его этому нахлынувшие интернет-пользователи.

а если еще вглубь веков глянуть, то поломку ИИ от неправильного обучения описал еще Станислав Лем, в рассказе «Ананке» еще в далеком 1971 году. вот сумел же блин предвидеть :)

pfg ★★★★★
()
Ответ на: комментарий от Jameson

ну, блин, искусственный гомно интеллект не идет ни в какое сравнение с тем, которым обладает лысая обезьяна, он на эволюционной шкале находится где-то на уровне мухи-дрозофилы

tz4678_2
()

Разве его уже не «заDDOS’или»? Мне казалось что он требует то что видит большинство а не тот что там реально изображено, во всяком случае мне так кажется.

ex-kiev ★
()
Security