Palantir: как обнаружить ботнет

В 2009 году китайская киберразведка на своей шкуре испытала мощь всевидящего ока Palantir. Аналитики из Information Warfare Monitor раскрыли крупные китайские разведывательные операции — Ghostnet и Shadow Network.

Вместе с компанией Edison продолжаем расследование возможностей системы Palantir.
be456c33a5324e2ab7ba30e6b57903eb.jpg

«Надеюсь, что немного осталось лет до того, как человеческий мозг и вычислительные машины будут тесно связаны, а получившееся партнерство будет думать так, как человеческий мозг никогда не сможет, и обрабатывать данные способами, недоступными известным нам машинам.» — Сказал Джозеф Ликлайдер 56 лет назад, стартанул кафедры информационных технологий в ведущих вузах Америки и начал строить ARPANET. — «Люди будут задавать цели, формулировать гипотезы, определять критерии и выполнять оценку. Компьютеры будут делать рутинную работу чтобы расчистить путь к открытиям в технических и научных областях».

«Взаимодополняемость человека и компьютера — не только глобальный факт. Это еще и путь к созданию успешного бизнеса. Я осознал это на собственном опыте, полученном в PayPal. В середине 2000-х наша компания, пережив крах пузыря доткомов, быстро росла, но нас тревожила одна серьезная проблема: из-за мошенничеств с кредитными картами мы теряли больше 10 миллионов долларов ежемесячно. Совершая сотни и даже тысячи переводов в минуту, мы не могли физически отслеживать каждый из них — никакая команда контролеров не в состоянии работать с подобной скоростью. Мы поступили так, как поступила бы на нашем месте любая команда инженеров: попытались найти автоматизированное решение.»
Сказал Питер Тиль и основал Palantir.

Под катом кейс о том, как с помощью инструмента финансовой аналитики можно вскрыть ботнет.
Кейс «вымышленный», но на скриншотах фигурируют данные 2009 года.

(За помощь с переводом спасибо Ворсину Алексею)

0:00 Это видео покажет как с помощью продукта Palantir для финансовой аналитики мы можем исследовать, нефинансовые данные структурированные во времени.
0:09 Если быть точным, то мы покажем разоблачение возможной ботнет-атаки, сделанное на основе анализа некоторого количества киберданных с помощью Palantir Finance и Palantir Goverment.
0:16 Данными будет вся информация о подключениях отклоненных маршрутизатором за четыре дня.
0:22 Мы увидим, как аналитик будет изучать данные и исследовать то, что выглядит подозрительно.
0:28 Мы начнем на очень общем уровне, над всей совокупностью объектов и будем добавлять фильтры по одному, спускаясь, таким образом, вниз, шаг за шагом.
0:35 Поле внизу будет показывать отфильтрованные объекты.
0:41 Чтобы начать, мы распределим данные об отклоненных подключениях по портам, на которые они направлены. Мы сделаем это, используя фильтр.
0:48 Существует много видов фильтров для исследования данных.

503409c193994cf6845debd6335bb5a0.jpg

0:51 Мы можем фильтровать по свойствам данных, и для этого используем фильтры слева, в верхней части экрана.
0:54 По числовым значениям, используя гистограмму и прочие фильтры.
0:58 По свойствам, основанным на времени, с помощью фильтров timeline.
1:01 Мы хотим узнать, насколько много подключений было отклонено на всех портах назначения, так что мы добавим фильтр «по назначению порта».
1:10 Фильтр «гистограмма» показывает нам распределение по портам назначения.

afbaf2b7fcc843d0a8c6be76bf637dd4.jpg

1:14 По оси Х расположены разные группы портов, по оси Y мы видим сколько подключений зафиксировано в port bucket.

dc48178b59ea48428681e9bbac9f4189.jpg

1:21 Гистограмма показывает нам несколько разных вещей: во-первых, мы видим, что почти все порты были задействованы.
1:27 Наибольшая концентрация активности, заметна в портах до 5000, что имеет смысл, так как этот отрезок включает в себя наиболее часто используемые порты, например AD порт для HTTP или порт 23 для Telnet.

3e332990b7fa4c039d860f69de5b9ea5.jpg

1:37 Давайте посмотрим на самый большой столбец.
1:41 Глядя на поле внизу, мы видим что этот столбец относится к порту 1434, что имеет значение, так как этот порт используется для MS SQL, и он часто является мишенью для червя SQL slammer.

bc374b67618e4f0c81b49d3f09432ce0.jpg

1:51 Порты с более высокой нумерацией реже используются в легитимных целях, так что мы исследуем один из этих сегментов портов.
1:56 Мы можем кликнуть на сегмент портов, чтобы отфильтровать результаты по объектам из этого сегмента.
2:00 Этот сегмент может содержать несколько портов, но нам интересен только один, наиболее часто задействованный.
2:07 Мы можем использовать «увеличение» (Zoom) — одну из функций выбора в гистограмме.
2:09 Увеличив, мы видим, что порт 18100 ответственнен почти за все подключения.

0edce549c19f4094950b82be4da5c774.jpg

2:15 Мы выделим этот порт, чтобы исследовать подключения, адресованные к нему.
2:20 Давайте посмотрим как эти подключения распределены по IP адресу.
2:25 Мы можем добавить фильтр «категория» (category), чтобы увидеть все IP адреса, являющиеся целевыми для этого сегмента (портов).
2:30 Мы видим, что почти все подключения адресованы одному IP.

6a23d07c30da4255bfb2fdce6264d00e.jpg

2:33 Мы выделим этот адрес, чтобы увидеть только связанные с ним подключения.
2:37 Теперь мы исследуем эти подключения по времени их появления.
2:41 Мы сделаем это, добавив фильтр «время подключения» (connection time).

f9ff26c9f3394a00a3f923b9039a0412.jpg

2:45 Мы можем увидеть, что вся масса подключений произошла в течение десяти часов, и количество подключений нарастало, достигло пика и со временем сошло на нет.

2:53 Это интересный пример, мы вернемся к нему позже.
2:56 Чтобы получить лучшее представление о данных, давайте исследуем источники этих подключений. Особенно, мы хотим увидеть такие характеристики подключений, как IP адрес и порт источника по времени подключения.
3:07 Мы можем исследовать это с помощью фильтра «диаграмма рассеивания» (scatterplot).
3:12 За ось X мы возьмем время, за ось Y — порт источника подключения.
3:20 Мы можем использовать цвета как третью ось, значением будет IP адрес источника подключения.
3:31 Это означает, что одни и те же IP адреса источников будут выделяться одним цветом.
3:37 Мы можем увидеть здесь кое-что интересное: некоторые порты были целевыми только для небольшого количества IP адресов, что мы можем увидеть по точкам схожего цвета и расположенным только по горизонтали.

22c8d315602b45258f1c46688a086374.jpg

3:47 Ряд других портов, похоже, являлся целью для всего множества IP адресов.
3:52 Мы так же можем увидеть несколько диагональных оранжевых полос, давайте изучим их подробнее.
4:00 То, что полосы диагональны, означает, что номер порта источника подключения постоянно увеличивался.

1128e905e23f47459f0579cfba65b3ee.jpg

4:06 То, что полосы близки по цвету означает, что подключение приходило со схожих IP адресов.
4:09 Давайте посмотрим, сможем ли мы сконцентрироваться на них.
4:13 Для начала, выберем полоску. Как только мы выбрали несколько номеров из полосы, мы можем добавить фильтр по IP адресу источника подключения.

7021303876e645ae93492811a479b790.jpg

4:23 И мы видим, что все эти подключения пришли с одного IP, чего я и ожидал по цвету.

32599aa901e74a1f997643d46bbfc1ad.jpg

4:29 Мы можем выделить этот IP и поместить этот фильтр поверх другого, чтобы уточнить результаты диаграммы рассеивания.
4:35 Мы можем свернуть фильтр по категориям и увидеть диаграмму рассеивания только по этому IP адресу.

30fa0b921dc94250ba071e5355329653.jpg

4:41 Мы видим, что этот IP адрес, несомненно, перенацеливается на разные порты отправки, с течением времени. Это классическое поведение при сканировании портов.
4:50 Эта работа вскрыла подозрительную активность: много разных IP циклично и через множество портов были нацелены на подключение к одному IP и одному порту за короткий промежуток времени.
5:02 Теперь мы используем Palantir Goverment, чтобы проанализировать эти данные во времени и по географическому признаку.

dd1b312e968e4d96b6fa1118dd66452b.jpg

5:06 Мы создали фильтр, чтобы уплотнить подмножество данных, которые мы нашли интересными с помощью Palantir Finance. Параметрами фильтра стали объекты «подключение», нацеленные на IP адрес 25.134.141.209 и порт 18100.

ccadd7b52cc64d57900064ca506b06d6.jpg

5:20 Результаты фильтра появились на графе.

b687596642e64c438e52304000cfe29f.jpg

5:25 Мы можем открыть timeline и увидеть, что она схожа с той, что мы видели в Palantir Finance.
5:30 Теперь мы перетащим эти объекты на карту, чтобы увидеть расположение IP адресов этих подключений.

8011375ffeee47999988f67f7d18001f.jpg

5:37 Тепловая карта с помощью цвета помогает увидеть плотность подключений.

ab9f8ddc45434d3b915f7ba400948e8a.jpg

5:42 Мы видим, что наибольшая плотность в Китае.
5:47 С помощью time line мы можем увидеть, как события развивались.
5:51 Мы создаем окошко времени и двигаем его, чтобы увидеть как реагирует тепловая карта.

09fbb883c5a94488922f8f278bb6699b.jpg

5:57 Мы видим, что подключения начались в Китае, затем распространились на Японию и Индонезию, затем мы видим области в Южной Америке, Европе и Австралии.
6:11 Наконец, когда темп подключений сходит на нет, они снова сконцентрированы в Китае и Индонезии.
6:23 Эта timeline и схема активации довольно ясно указывает на ботнет атаку. Когда атака начинается, и все большее число компьютеров вовлекается в неё, число подключений возрастает до пика, затем постепенно снижается, так как каждый компьютер пытается выполнить разное количество подключений или подключается с разной скоростью.
6:40 За эту рабочую сессию мы использовали Palantir Finance, чтобы исследовать большой объем данных, и успешно свели его к подмножеству данных, с помощью фильтров.
6:49 Мы смогли увидеть несколько характеристик данных и выявили подозрительную активность.
6:56 Результатах работы в Palantir Finance мы открыли в Palantir Goverment, который дал возможность провести географический и временной анализ, что дало возможность визуализировать то, как события развивались.
7:05 В конечном счете, наш анализ завершился раскрытием активности, которая с высокой долей вероятности является ботнет атакой.
7:11 Те же техники, что мы использовали при раскрытии характерных черт ботнет атаки из большого объема данных о подключении, может быть использован для выявления прочей злонамеренной активности в сети, включая narrow-не-разбери-что, извлечение данных, атаки с использованием методов социальной инженерии, и многое другое.
7:26 Все это: комбинированное предложение Palantir Cyber, — готовое решение для борьбы с наиболее обременительными задачами в сети, встающими перед правительственными и коммерческими учреждениями.

ed408c081007483d8d27ea689e64e96e.jpg

Еще про Palantir:

Вместе с компанией Edison продолжаем весенний марафон публикаций.

Я постараюсь докопаться до первоисточников IT-технологий, разобраться, как мыслили и какие концепции были в головах у первопроходцев, о чем они мечтали, каким видели мир будущего. Для чего задумывались «компьютер», «сеть», «гипертекст», «усилители интеллекта», «система коллективного решения задач», какой смысл они вкладывали в эти понятия, какими инструментами хотели добиться результата.

Надеюсь, что эти материалы послужат вдохновением для тех, кто задается вопросом, как перейти «от Нуля к Единице» (создать что-то, чего раньше и в помине не было). Хочется, чтобы IT и «программирование» перестали быть просто «кодингом ради бабла», и напомнить, что они задумывались как рычаг, чтобы изменить методы ведения войны образование, способ совместной деятельности, мышления и коммуникации, как попытка решить мировые проблемы и ответить на вызовы, вставшие перед человечеством. Как-то так.

0 марта. Сеймур Пейперт
1 марта. Xerox Alto
2 марта «Позвоните Джейк». История NIC и RFC
3 марта Грэйс «бабуля COBOL» Хоппер
4 марта Маргарет Гамильтон: «Пацаны, я вас на Луну отправлю»
5 марта Хеди Ламарр. И в кино обнаженной сняться и во врага торпедой пульнуть
7 марта Великолепная шестерка: девушки, которые термоядерный взрыв рассчитывали
8 марта «Видеоигры, я ваш отец!»
9 марта С днём рождения, Джеф Раскин
14 марта Джозеф «Lick» Ликлайдер: «Интергалактическая компьютерная сеть» и «Симбиоз человека и компьютера»
15 марта Вэнивар Буш: «Как мы можем мыслить» (As We May Think)
16 марта С днем рождения, Ричард Столлман
21 марта Дуглас Энгельбарт: «The Mother of All Demos». Часть 1

© Habrahabr.ru