LINUX.ORG.RU
ФорумTalks

Демократия и SKYNET

 , , , ,


0

1

Издание Ars Technica опубликовало большой материал о работе программы Агентства национальной безопасности СГА под названием SKYNET. С её помощью АНБ выявляет и уничтожает потенциальных террористов в Пакистане. Эксперты называют алгоритмы SKYNET «полной чушью». Apparat публикует сокращенный перевод материала.

Согласно документам, опубликованным в прошлом году изданием Intercept, SKYNET основана на массовой слежке за мобильными сетями в Пакистане и алгоритме машинного обучения, который анализирует метаданные о звонках 55 миллионов людей и оценивает вероятность причастности каждого из них к террористическим организациям.

Аналитик данных Патрик Болл, являющийся директором исследований Human Rights Data Analysis Group, рассказал Ars Technica, что алгоритм, с помощью которого АНБ обучает SKYNET анализировать мобильные метаданные, является научно недостоверным. Патрик называет методы АНБ «неуместно оптимистичными», а алгоритмы — «полной чушью».

По данным Бюро расследовательной журналистики, с 2004 года беспилотники убили от 2500 до 4000 людей в Пакистане. Большинство из них были классифицированы американским правительством как «экстремисты». По оценкам Intercept, разработка программы машинного обучения началась не ранее 2007 года.

SKYNET работает подобно коммерческим программам обработки больших данных. Программа собирает метаданные, сохраняет их на облачных серверах АНБ, извлекает из них релевантную информацию, и затем с помощью машинного обучения выявляет потенциальные цели для таргетированной кампании. Но, в отличие от коммерческих приложений, целью кампании являются не продажи, а уничтожение потенциально опасных личностей с помощью беспилотников или наземных военных бригад.

«С помощью метаданных мы можем измерить привычки, круг общения и паттерны перемещения отдельных личностей» SKYNET собирает данные не только о звонках пользователей мобильных сетей (время, длительность, кто кому звонил), но и о их местоположении, что позволяет строить схемы их перемещений. Выключение мобильного телефона помечается системой как попытка избежать слежки. Смена SIM-карт помечается аналогично — идентификаторы телефонов вшиты в сами устройства, смена карточек на них никак не влияет.

Согласно слайдам из внутренней презентации АНБ, система отслеживает даже смену телефона. Журналисты Ars Technica предполагают, что это возможно благодаря анализу других метаданных, которые не изменяются со сменой телефона, таких как местоположение, перемещение и список контактов.

Параметры, используемые при оценке «террористичности»: паттерны перемещения, аналитика поведения На основании этого массива метаданных SKYNET составляет типичные для людей рутины — кто с кем путешествует, у кого есть общие знакомые, кто проводит ночь с друзьями, посещает другие страны или и вовсе покидает страну. Алгоритм машинного обучения учитывает более 80 параметров при оценке потенциальной «террористичности» человека. Он основан на предположении о том, что поведение террористов значительно отличается от поведения обычных граждан. Тем не менее, как показали документы, опубликованные Intercept, наиболее высоко оцененной целью алгоритма стал журналист Ахмед Заидан, шеф бюро Аль-Джазиры в Исламабаде.

Самая высоко оцененная алгоритмом цель из посещающих Пешавар и Лагор - шеф бюро Аль-Джазиры в Исламабаде Ахмед Заидан Заидан часто ездил в регионы с повышенной активностью террористов для того, чтобы брать интервью у повстанцев и сообщать оттуда новости. Но вместо того, чтобы разобраться, почему алгоритм выдал такой странный результат, его разработчики из АНБ напротив, включили слайд с Заиданом в свою внутреннюю презентацию как пример успешной работы алгоритма, представив журналиста как «члена Аль-Каиды».

Для обучения алгоритма машинного обучения необходимо «скормить» ему примеры данных реальных террористов. Но проблема в том, что у АНБ нет таких данных, а настоящие террористы вряд ли согласятся пройти опрос от АНБ, отмечает Ars Technica. При обучении алгоритма за основу были взяты данные об известных курьерах террористов.

Население Пакистана — 192 миллиона человек. На момент создания презентации АНБ в 2012 году в стране было 120 миллионов телефонов, из которых Агентство использовало для анализа 55 миллионов. Алгоритм классификации SKYNET анализирует метаданные и, сравнивая их с набором данных от известных курьеров, присваивает каждому пользователю оценку.

Пример отчета о поездке от SKYNET Алгоритм классификации присваивает каждому из 80 параметров цифровое значение, а затем с помощью машинного обучения оценивает вероятность того, что пользователь телефона является террористом. При этом, согласно слайдам, пороговое значение «ложных негативных оценок» при оценке составляет 50%. Это означает, что при таком пороге половина людей, подпадающих под оценку «террорист», считаются невиновными.

Журналисты Ars Technica отмечают: неизвестно, оставили ли порог в 50% из презентации 2012 года в дальнейшем при составлении списка целей. Тем не менее, проблема ложных позитивных оценок осталась.

Патрик Болл объясняет: чем выше порог ложных негативных оценок, тем больше уверенность АНБ в том, что оставшиеся позитивные оценки — верные.

«Cтатистические алгоритмы могут выявлять курьеров с очень низким уровнем ложных оценок, если мы будем отбрасывать половину из них» Один из слайдов АНБ гласит: «Cтатистические алгоритмы могут выявлять курьеров с очень низким уровнем ложных оценок, если мы будем отбрасывать половину из них». Но насколько низок этот «низкий уровень» ложных оценок АНБ на самом деле?

Болл объясняет: проблема в том, какие данные берутся за основу для обучения алгоритма. АНБ оценивает качество работы SKYNET с помощью набора данных 100 000 случайно выбранных пользователей и данных семи известных террористов. Данные шести из них используются для обучения программы, которая потом должна найти седьмого в общем массиве данных. Результаты этого теста и дают процент ложных позитивных оценок на слайде выше.

У АНБ слишком мало «известных» террористов, чтобы использовать их данные и для обучения, и для тестирования алгоритма, говорит Болл. «Нельзя тестировать алгоритм на тех же данных, на которых он обучается. Обычно часть данных оставляют вне процесса обучения. В тесте должны быть записи, с которыми алгоритм ранее не сталкивался. Без этого оценка пригодности алгоритма получается чрезмерно завышенной.»

К тому же, «известные» террористы формируют плотно связанный между собой кластер, в то время как любой маленький граф случайно выбранных граждан будет практически несвязанным. Методически правильно было бы смешать известных террористов с обычными гражданами до формирования случайной выборки тестовых данных. Но из-за их мизерного количества это не имеет смысла.

То, что кажется академическими тонкостями, по словам Болла, критически влияет на качество работы алгоритма, приводит к некорректной классификации людей как «террористов» и их последующему уничтожению. К тому же, используемый алгоритм машинного обучения (метод случайного леса) склонен к так называемому переобучению — часто он плохо работает с данными, которые не участвовали в обучении и завышает результаты оценки.

0,18% от 55 миллионов - это 99 000 людей, потенциально записанных в «террористы» При пороговом значении «ложных негативных оценок» в 50% (при котором половина вероятных террористов не попадают под такую классификацию), показатель ложных позитивных оценок составляет 0,18%. В масштабах Пакистана это означает потенциальные гибели тысяч невиновных людей. 0,18% от 55 миллионов — это 99 000 людей.

Алгоритм предполагает, что среди населения много террористов, что на самом деле не так — террористы составляют очень малую часть населения. К тому же, модель не способна распознать террористов, чье поведение отлично от поведения уже зафиксированных террористов, на которых обучили модель.

Самые качественные коммерческие приложения, обрабатывающие большие данные, имеют показатель ошибочной оценки в 0,008%. Это допустимое отклонение, когда ошибкой является показ баннера не тому пользователю или неправильное списание со счета. Но 0,008% населения Пакистана — это 15 000 человек, которые могут быть по ошибке классифицированы и уничтожены как террористы.

Авторы Аrs Technica отмечают, что многие факты про SKYNET остаются неизвестными. «Рассматривают ли аналитики SKYNET данные каждого подозреваемого в терроризме перед его уничтожением? Предпринимаются ли попытки задержать подозреваемых в терроризме? Как может правительство СГА быть увереным в том, что не убивает невиновных граждан, если алгоритм, составляющий расстрельные списки, имеет такие явные недостатки?»

Документы АНБ, утекшие в сеть, совершенно точно говорят об одном: тысячи невиновных людей получают отметку «террорист». Что с ними происходит потом, неизвестно. Составить полную картинку практически невозможно — АНБ не ответило на вопросы издания Аrs Technica ни до, ни после публикации.

Кристиан Гротофф и Джей Порап завершают свой материал опасением о том, что власти смогут использовать подобные программы и внутри СГА. Например, для выявления наркоторговцев, протестующих и других потенциально опасных личностей. «Легко игнорировать убийство людей на основании метаданных в далекой стране. Но что будет, если SKYNET будет обращен, если уже не обращен, против нас?»

http://apparat.cc/world/nsa-skynet/

Вот уже демократические расстрельные списки. Следом будет отслеживание мыслетерроризма. Ни суда, ни следствия. И эти дикари указывают нам на права человека.

★★

Последнее исправление: user42 (всего исправлений: 7)

Ждём шквала критики и отката к старой проверенной методике ковровых гуманитарных бомбардировок и массовых расстрелов.

shahid ★★★★★
()

Самая высоко оцененная алгоритмом цель из посещающих Пешавар и Лагор - шеф бюро Аль-Джазиры в Исламабаде Ахмед Заидан Заидан часто ездил в регионы с повышенной активностью террористов для того, чтобы брать интервью у повстанцев и сообщать оттуда новости. Но вместо того, чтобы разобраться, почему алгоритм выдал такой странный результат

В результате нет ничего странного.

tailgunner ★★★★★
()
Ответ на: комментарий от svr4

Где ты видишь жырноту? Система запрограммирована на распознавание паттернов поведения, свойственных террористам - не террористов, а паттернов. Теперь попробуй сказать, что она ошиблась.

tailgunner ★★★★★
()

Если правда, то нереально круто. Ну, в технологическом смысле.

dk-
()

Надо срочно завязывать с ингрессом. Паттерны поведения те же самые, типично террористические, особенно при обмене ключами при подготовке глобальных акций.

imul ★★★★★
()

Лучше бы использовали обучение без учителя. На таком объёме данных они могут выделить всевозможные группы пользователей, после чего в каждой группе другими средствами оценить «террористичность» и работать только с целевыми группами и нетипичными случаями.

Sadler ★★★
()
Ответ на: комментарий от dikiy

скорей бы уже все на i2p пересели.

Что бы террористы шибче рассиян и еуропейцев взрывали? Ну может быть, может быть.

kernel ★★☆
()
Ответ на: комментарий от kernel

скорей бы уже все на i2p пересели.

Что бы террористы шибче рассиян и еуропейцев взрывали? Ну может быть, может быть.

так уж вышло, что в данном плане мы с ними по одну сторону баррикад.

dikiy ★★☆☆☆
()

наличие данных и аналитики - уже плюс. понятно, что нельзя с точностью 100% сказать, террорист или не террорист на основании телефонных звонков. но связи внутри некоторых групп всё-таки можно отследить и использовать это как подспорье в расследовании терактов, например. не думаю, что там кого-то прямо сразу рассреливают на основании какого-то алгоритма. это просто параноидные сетевые хомячки-активисты, как обычно, всё неправильно поняли и сделали из мухи слона.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 1)
Ответ на: комментарий от drull

а я бы вот с удовольствием. приглашают работать во всякие Южные Кореи, Германии. но это не то. а в Штаты мало кого приглашают и туда не так просто попасть. и даже с рабочей визой нет никаких видов на гражданство: поработал - и вали обратно к себе на родинку. это только у нас всякие «онинамнужны» свободно через границы шастают и тут расселяются и плодятся, как тараканы. а в Штатах правительство более разборчиво в выборе резидентов. да и переезжать туда недёшево, хотя цены на квадратный метр жилья в Майями даже чуть ниже, чем в нашем продвинутом солнечном Екатеринбурге. если бы не было проблем с гражданством и переездом, то многие бы прям щаз рванули.

Iron_Bug ★★★★★
()
Ответ на: комментарий от Iron_Bug

это только у нас всякие «онинамнужны» свободно через границы шастают и тут расселяются и плодятся, как тараканы. а в Штатах правительство более разборчиво в выборе резидентов.

Мексиканцы смотрят на тебя как на клоуна.

totik
()
Ответ на: комментарий от drull

Ок, посмотри чем они классифицируют. На скрине заметен StatET и только один классификатор: RF. Соответственно, это еще и язык R.
Если они могут получить доступ к большим массивам данных (а судя по описанию - таки могут), то использовать только такой метод - большая наивность и глупость. Куда лучше себя покажут нейросети с большим уровнем вложенности (поправьте кто, если это не так и есть, что почитать) (да и RF при большом числе features - странное удовольствие). И для них (сетей) вроде как наиболее принятой вещью является Python/C++, ибо у R как-то странно идут дела с вычислениями на GPU.

И это в стране, где частные компании с легкостью могут позволить себе deep learning? Ну не укладывается это в голове.

Solace ★★
()
Последнее исправление: Solace (всего исправлений: 1)
Ответ на: комментарий от drull

Личный вопрос. Но въезд на территорию США мне разрешен.

Solace ★★
()
Ответ на: комментарий от totik

мексиканцев пачками выдворяют за пределы Штатов. они и сами неплохо мрут в грузовых контейнерах, пытаясь пролезть в Штаты. а они их ловят - и обратно отправляют. мне вариант миграции в грузовом контейнере почему-то не нравится. я белый человек и если уж соберусь мигрировать, то буду это делать официально и полностью законно.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 2)
Ответ на: комментарий от Solace

для С++ нужны программисты. причём хорошие. для питона не нужны, но он сам тормоз похуже всяких R. у нас на работе есть проект с бигдата. я в нём непосредственно не участвую, но так, краем уха слушаю, что там за технологии и куда всё движется. в целом, там там аццкая смесь жабы, питона, скалы, R, с дёрганьем сишных библиотек и даже фортран, для математики. так что однородности нет, судя по всему. и вся эта халабуда с обучающимися алгоритмами написана учёными, а не программистами, поэтому работает малость через жопу. я так понимаю, что программисты не хотят углубляться в сложные алгоритмы, а учёные не хотят влезать по уши в суровый кодинг. поэтому в итоге выходит довольно неэффективный софт, и очень разрозненный.

Iron_Bug ★★★★★
()
Ответ на: комментарий от Iron_Bug

для С++ нужны программисты. Причём хорошие.

Которых не могли нанять военные США для особо интересных задач? Ну это очень странно.

Для питона не нужны, но он сам тормоз похуже всяких R.

Нет. И нет. Да и не в этом была нить обсуждения.

у нас на работе есть проект с бигдата

То, что обычно называют словом Big Data - это «обслуга» таких систем, не они же. Не всегда, но термин используется как очень модное слово.

поэтому в итоге выходит довольно неэффективный софт, и очень разрозненный.

Поэтому python и любят: за всякие caffe (но там и C++), theano, numpy, sklearn, pandas. А по поводу эффективности. Говорить можно много, и речь опять же шла не о том.

Суть своей претензии к тому, что увидел в статье - я объяснил. На ЛОРе есть люди, которые занимаются этой темой, тот же Sadler например, они могут что-то написать о классификаторах. А разговаривать о языках мне лень, я не большой любитель этого дела.

Solace ★★
()
Ответ на: комментарий от Solace

Которых не могли нанять военные США для особо интересных задач? Ну это очень странно.

да, кстати, не так уж и странно. мне вот предлагали работать на военку (конечно, не на штатовскую, а на нашу) и даже за хорошую зарплату. и я отказалась. во-первых, вопрос этики. я ни за что не стану разрабатывать оружие или средства по уничтожению людей или животных. во-вторых, известная параноидность воендосов по поводу своих разработок накладывает на жизнь программиста совершенно конский отпечаток. и ни один здравомыслящий программист не мечтает об обысках у себя дома и запрете выезда за рубеж. плюс зарегулированность воендосов. есть желание приходить на работу ровно в 8, в парадном виде? так что программисты-то есть, только они вряд ли пойдут в такую разработку.

То, что обычно называют словом Big Data - это «обслуга» таких систем, не они же.

я знаю, что это такое. у нас большинство разработчиков - выпускники матмеха и люди понимают, что такое биг-дата и ИИ, и прочее. я ни в коем случае не называю биг-датой тупые хранилки контента и всякое БД.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 2)
Ответ на: комментарий от kernel

Сколько лично твоих знакомых и родственников убили террористы? А?

От терроризма гибнет ну очень мало людей. Рядовой хомячок имеет околонулевые шансы с ними встретиться. Точно также как и погибнуть в авиакатастрофе.

Ах да, гражданские войны в банановых республиках это не терроризм, это именно войны. Терроризм это когда какой-нибудь фанатик взрывает себя в центре города, а когда две армии открыто идут друг на друга это не терроризм, это просто война (что, конечно же, тоже неприятное явление, однако никакой запрет интернета не остановит войны). Так что большинство жертв ИГИЛ нельзя отнести к жертвам терактов.

KivApple ★★★★★
()
Последнее исправление: KivApple (всего исправлений: 1)
Ответ на: комментарий от KivApple

Сколько лично твоих знакомых и родственников убили террористы? А?

Советское правительство считается?

От терроризма гибнет ну очень мало людей. Рядовой хомячок имеет околонулевые шансы с ними встретиться. Точно также как и погибнуть в авиакатастрофе.

Это пока вы удобно определяете терроризм.

Ах да, гражданские войны в банановых республиках это не терроризм, это именно войны. Терроризм это когда какой-нибудь фанатик взрывает себя в центре города, а когда две армии открыто идут друг на друга это не терроризм, это просто война (что, конечно же, тоже неприятное явление, однако никакой запрет интернета не остановит войны). Так что большинство жертв ИГИЛ нельзя отнести к жертвам терактов.

Ненене, батенька, это вы сейчас делаете вид что даиш из воздуха возник, по волшебной палочке. А не из этих самых террористов, которыми никто не занимался.

kernel ★★☆
()
Ответ на: комментарий от kernel

Тотальная слежка помогает бороться исключительно с таким терроризмом, который я описал. Против террористов, которые дорвались до большой власти, данные меры никак не помогут. Более того, эти же средства будут использованы уже на благо таких террористов.

Советское правительство считается?

Очевидно, что если бы у советского правительства были бы методы слежки, которые доступны сейчас, то жертв террора было бы больше (это рассуждение на основе вашей гипотезы, что власть в СССР принадлежала террористам, моё личное мнение может отличаться).

Касательно ИГИЛ - мне почти на него плевать. Если бы наша страна не бомбила их - было бы плевать совсем. Очевидно, что его не могут победить только из-за всяких международных соглашений, которые запрещают превратить Сирию в выжженную пустыню. Однако если ИГИЛ реально будет угрожать безопасности какой-либо крупной страны (США или России), то на эти соглашения забьют.

KivApple ★★★★★
()
Последнее исправление: KivApple (всего исправлений: 2)
Ответ на: комментарий от KivApple

Тотальная слежка помогает бороться исключительно с таким терроризмом, который я описал. Против террористов, которые дорвались до большой власти, данные меры никак не помогут. Более того, эти же средства будут использованы уже на благо таких террористов.

Ага. Но если бы с радикальными животными бы боролись, а не клали на это все хрен - никаких бы терроистов у власти бы не возникло.

Очевидно, что если бы у советского правительства были бы методы слежки, которые доступны сейчас, то жертв террора было бы больше (это рассуждение на основе вашей гипотезы, что власть в СССР принадлежала террористам, моё личное мнение может отличаться).

Моя идея в том что власть в ссср возникла как даиш. Если бы разобрались с ними в зародыше - последующего песца не было бы. И моя идея была не в том что власть в ссср принадлежала террористам, моя идея была в том что власть боролась с населением классическим террористическими методами - одни нквдшки наряжавшиеся бендеровцами чего стоят.

И это все собственно ответ на ваш «террористы убивают мало». Согласен - но если с ними не бороться как вы предлагаете то результат известен.

kernel ★★☆
()
Ответ на: комментарий от kernel

Я считаю, что в любой революции виновата действующая власть. Когда люди всем довольны, революционерам банально негде найти добровольцев для своих целей, а сознательные граждане, которым есть что терять, сами побегут сдавать их спецслужбам.

В условиях же тотальной слежки возможна консервация неудачного режима, который сам в последствии может начать применять методы террора.

KivApple ★★★★★
()
Ответ на: комментарий от KivApple

Это все вы очень правильно пишете, но есть люди которые недовольны властью просто потому что уроды которые любят сжигать и вешать и не любят гомосеков и женщин без паранджи. Собственно все человечество было таким в определенной фазе своего развития, только стилистика отличалась.

Например все эти европейские джихадисты - вы действительно считаете что это правительство виновато что они поехали людей радостно убивать заверу?

И кстати да, этого даиша не так и много - по отношению к населению - только вот едут туда со всего мира и этих немногих вполне хватает что бы удержать власть. Более того, то что революции случаются от недостатков старой власти совершенно не значит что потом не придет власть которая будет удерживатся исключительно террором. Как это собственно неоднократно бывало в истории - и происходит сейчас с этим самым исламским жихадом.

kernel ★★☆
()
Последнее исправление: kernel (всего исправлений: 1)
Ответ на: комментарий от kernel

Очевидно, что виновато правительство тех стран, где эти борцуны убивают людей. Европе следует выкидывать на мороз всех, кто не принимает европейские ценности, например (хочешь жить в Европе - не насилуй и не грабь женщин, иначе катись откуда приехал), а не закрывать глаза на их преступления. В Сирии тоже не на пустом месте проблемы возникли, я думаю (не особо интересуюсь этой темой). В последние годы существования царской России там тоже был неплохой такой кризис власти.

Более того, то что революции случаются от недостатков старой власти совершенно не значит что потом не придет власть которая будет удерживатся исключительно террором.

Однако власть, которая получила возможность тотального контроля за своими гражданами, точно также рано или поздно скатится к террору. Зачем напрягаться, когда проще расстрелять недовольных?

В противном же случае у народа всегда есть кнопка рестарта, если стало совсем плохо. Власть в свою очередь должна бояться народ и стараться ублажить его.

KivApple ★★★★★
()
Ответ на: комментарий от KivApple

В последние годы существования царской России там тоже был неплохой такой кризис власти.

Я с вами тут полностью согласен и тоже считаю что именно от этого революция в россии и произошла. И судя по всему скоро опять произойдет.

Проблема в том что когда вы в это уравнение закидываете радикальных кровожадных поехавших происходит именно так как происходит. Авторитаризм просто заменяют отрезанием головы на камеру. И мне ответ «что делать» неизвестен - идею того что с кровожадными уродами не надо бороться самыми жесткими методами, а надо рассуждать о правах человека я не могу. И вы пока вещаете неубедительно и догмами.

kernel ★★☆
()
Ответ на: комментарий от kernel

Радикальных кровожадных поехавших мало относительно общего числа людей. Касательно тезиса, что в средние века их было много - есть мнение, что всё было совсем не так. Людей готовых убивать всегда было немного. Было много готовы посмотреть на зрелище. Но и сейчас ситуация та же - люди любят смотреть кровавые новости, кто кого сколько убил, смотреть фильмы про убийства, играть в жестокие игры. Однако подавляющее большинство это будет смотреть только пока сами в безопасности. Интересно смотреть, как сжигают ведьму, только когда ты уверен, что тебя самого не обвинят в колдовстве.

Посмотреть ролик на ютубе, как террористы ИГИЛ отрезали головы очередным пленным? Пожалуйста. Самим поехать туда и отрезать головы? Да ну нафиг. На такое готовы только поехавшие, которых не так уж и много.

В Европе проблема решается очень просто - надо отменить закон, который запрещает депортировать беженцев. Приютить обиженных это, конечно, благородно, но только если это не угрожает безопасности коренного населения. Государство должно в первую очередь защищать интересы людей, из которого оно состоит, а уже потом всего остального мира.

KivApple ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.