Ошибочка вышла. Программу SKYNET спецслужб США связали с возможными убийствами невинных людей  (1)

Согласно документам программа SKYNET занималась слежкой за пользователями мобильных телефонов в Пакистане и потом использовала алгоритм машинного обучения для анализа метаданных 55 млн. людей для того, чтобы в автоматическом режиме определить — кто является террористом, а кто нет.

С 2004 года американские спецслужбы с помощью беспилотников убили от 2500 до 4000 людей. Программа SKYNET была запущена в 2007 году, а значит, сотни, если не тысячи людей могли быть определены как "террористы" с ее помощью и убиты благодаря метаданным.

Если вы до сих пор не знаете, что такое метаданные применительно к мобильной связи, мы настоятельно рекомендуем ознакомиться с материалом "Сегодня у оператора — завтра в полиции: как телефон отслеживает каждый ваш шаг", где это подробно объясняется на живом и очень жизненном примере.

Вкратце напомним: любой мобильный телефон является устройством, которое постоянно передает информацию мобильному оператору о своем местоположении. Эти сведения, не говоря уже о данных о звонках, сообщениях и выходе в интернет, аккуратно сохраняются. При желании к ним во всем мире, включая и Латвию, имеют доступ различные государственные агентства, спецслужбы, полиция. И им даже не нужно на это разрешение суда.

Спецслужбы и полиция много лет назад "продавили" легкий доступ к этим данным, заявляя, что они не являются чувствительными. В них, действительно, нет содержания разговоров и SMS-сообщений (на "прослушку" как раз нужна санкция суда). Но зато есть данные о местоположении человека в каждый момент времени, о том, кому и когда он звонил, когда выходил в интернет. Эти данные называются "метаданными".

Технически SKYNET является типичным приложением для анализа т.н. Big Data ("Большие данные") — огромных массивов информации, которые невозможно проанализировать силами людей. Программа в режиме реального времени вычленяла нужные ей данные из сетей мобильных операторов в Пакистане и закачивала их на сервера АНБ. Вот только вместо того, чтобы с их помощью подсказать оператору предложить клиенту новую модель телефона или тарифный план для ребенка, который у него, согласно машинному анализу, появился несколько лет назад, она сортировала людей на "террористрв" и "не террористов". На первых ЦРУ затем натравливало дроны или посылало по их душу зондер-команды.

SKYNET собирала, а, возможно, и собирает информацию о том, кто, куда, когда звонил и как долго говорил, где в этот момент находился, куда ездит. Программа может отследить смену SIM-карт (потому что ESN/MEID/IMEI телефона не меняется) и с большой долей вероятности может догадаться, что вот эти два номера телефона принадлежат одному и тому же человеку даже в том случае, если он пользуется разными устройствами с разными SIM-картами в разное время.

Выключение телефона автоматически отмечается как фактор риска (сознательный уход от массового наблюдения). Программа в состоянии отслеживать встречи разных людей и их совместные путешествия, "видит", кто вместе пообедал или провел ночь.

Всего SKYNET собирает около 80 параметров, каждый из которых имеет свой "вес" и перекрестный анализ их всех вместе позволяет системе в автоматическом режиме выставлять "оценки" людям, присваивая тем, кто набрал больше всего очков, "звание" террориста.

В кадрах презентации, подготовленной в АНБ в качестве примера работы системы указывается, что долговременный шеф телекомпании" Аль-Джазира" Ахмад Зайдан был причислен SKYNET к числу "явных террористов", был назван членом нескольких террористических группировок. Легко догадаться, что система пришла к этому выводу, "увидев", как Зайдан путешествует в "подозрительные" регионы, связывается с "неправильными" людьми и даже встречается с ними. То, что он при этом является журналистом и это работа журналиста — встречаться и путешествовать, система не учитывала.

Издание ArsTehnika получило комментарий исполнительного директора Human Rights Data Analysis Group Патрика Бала. Он не чиновник и не бизнесмен — он ученый, специализирующийся на данных и эксперт, неоднократно выступавший со своим анализом перед военными трибуналами. Методы инженеров АНБ, создавших SKYNET он считает "возмутительно оптимистичными" и "полной чушью", а полученные с их помощью результаты "научно необоснованными".

Тех, кто интересуется темой глубоко, мы отправляем в оригинальный материал, а остальным постараемся объяснить максимально просто.

Дело в том, что при создании SKYNET инженеры АНБ не стали изобретать велосипед, как это можно было бы предположить, когда мы говорим об одной из самых могущественных спецслужб планеты. Вместо этого они использовали обычный для исследования "биг даты" алгоритм машинного обучения — Random forest. Это важно потому, что позволяет сторонним специалистам оценить работу АНБ, даже не зная всех деталей. Они просто ЗНАЮТ, какие методы "тренировки" SKYNET надо было использовать для того, чтобы получить безошибочный результат.

Из утекшей из АНБ информации оказалось, что при настройке SKYNET в АНБ столкнулись с серьезной проблемой — как научить машину распознавать террористов, если "в природе" этих известных террористов (курьеров, сочувствующих, активистов, и т.д.) вообще-то очень мало? Настолько мало, что машину "натаскивали" лишь на шестерых террористах, про которых точно было известно, что они террористы. А проверяли результаты, вбросив в данные 100 тысяч случайных людей, этих шестерых террористов и еще одного — седьмого. Тест посчитали пройденным после того, как SKYNET успешно нашла этого седьмого.

Ключевая проблема в данном случае в том, что "референсных" данных было слишком мало и они явно не описывали всех возможных пакистанских террористов. Из-за этого SKYNET могла допустить ошибку, вероятность которой оценивалась в 0,18% при условии, что мы позволяем 50% возможных террористов проскользнуть сквозь сито проверок. Для 55 млн. пользователей 0,18% — это 99 000 человек, которых система в полностью автоматическом режиме, без вмешательства людей, могла обвинить в причастности к терроризму.

У опрошенных ArsTehnika специалистов нет проблем с тем, что спецслужбы используют "биг дату" и такие технологии для анализа метаданных. Но у них есть серьезные возражения против того, чтобы при этом использовались такие методы и техники настройки и обучения системы, которые идут вразрез с тем, как это НАДО делать по науке. Для вынесения смертного приговора нужны "доказательства, превыше сомнения". Доказательства, полученные с помощью SKYNET сомнения вызывают, и еще какие.

Если ошибка с вероятностью в 0,18% произойдет в рекламной системе, то вам покажут баннер с не той машиной, на которую вы "облизываетесь" последние полгода — и вы это точно переживете. Если вы станете жертвой ошибки системы вроде SKYNET, то вам на голову упадет ракета, выпущенная с дрона, либо вас похитят для допроса в секретной тюрьме ЦРУ. Как говорят в Одессе, "две большие разницы".

Конечно, ни у кого нет никаких прямых доказательств, что спецслужбы США слепо верили SKYNET при принятии решений об уничтожении конкретных людей (кроме слов о том, что "мы убиваем людей, основываясь на метаданных" в начале статьи). И уж точно никто не говорит о том, что SKYNET сама нацеливала дроны на вычисленных ею же людей.

С другой стороны — нужны ли какие-то еще доказательства, чтобы обвинить АНБ в непрофессионализме? Нам кажется, что он тут налицо. Если уж спецслужбы всей планеты используют такие сложные технологии для массовой слежки, то, пожалуйста, пусть делают это правильно — так, чтобы эксперты подвергали сомнению только этическую, но никак не техническую сторону методов их работы. Но "техника" подводит американских военных в регионе с пугающей частотой (см. "Потому что это не кино. Сказ о том, как из-за технического сбоя ВВС США убили 30 человек"). Тревожный тренд — учитывая, что оружие и методы спецслужб этой страны становятся все более технологичными.

Если вы считаете, что вас это не касается, то подумайте вот о чем. Если SKYNET годами тайно использовалась (и, вероятно, используется, даже когда она перестала быть тайной) в неспокойном Пакистане, у которого с США довольно натянутые отношения, то что мешает американским "трехзнакам" применить эту систему в других странах, которые внезапно оказались на "передовой" новой холодной войны? Уж точно не правительства этих стран, которые не моргнув глазом выдают граждан для суда в США и позволяют агентам ФБР проводить аресты и обыски в обычной рижской квартире.