Как мы весь интернет сканировали
Всем привет! Меня зовут Александр и я пишу код для 2ip.ru. За добрую половину сервисов можно пинать меня, готов отбиваться. Cегодня я хочу немного рассказать про переделку одного нашего старого сервиса. Это конечно не «big data», но всё равно довольно большие объемы информации, поэтому думаю будет интересно.
Речь пойдет про Сайты на одном IP, который как вы уже догадались, позволяет узнать все домены зарегистрированные на одном IP. Довольно удобно посмотреть кто присосался к вашему серверу (да, есть и такие), ну или чужому (например shared хостинг).
Как это всегда работало? Мы ходили в Bing с большого пула адресов и парсили выдачу по специальному запросу. Да, решение так себе, но что было то было. Было, потому что бинг прикрутил гайки и мы решили всё это сделать по человечески.
Своя база
Что если взять и спарсить весь интернет? В общем то не проблема, но мы не Google и больших ресурсов для кролинга не имеем. Или имеем?
Есть сервер с 12 ядрами и 64 гигами памяти, а в арсенале MySQL, PHP, golang и куча всяких фреймворков. Очевидно, что благодаря горутинам можно достичь неплохих результатов. Golang быстр и требует минимум ресурсов. По базе вопросы, потянет ли это все обычный MySQL?
Пробуем.
Делаем прототип
Собирать все домены дело неблагодарное, поэтому мы купили базу доменов размером в 260 миллионов записей. Сервисов, которые предоставляют свои услуги довольно много и стоит это копейки.
Итак на моем диске CSV файл размером 5 ГБ, дело за малым, написать масс ресолвер, который будет читать строку за строкой, а на выход в STDOUT, отдавать пару «домен — IP адрес»
Вопрос только в производительности, нужно делать это очень и очень быстро, мы не можем ждать результата месяц.
Несколько часов работы и мой демон на гоу готов. Мэйн получился примерно такой:
func main() {
file, err := os.Open("domains.txt")
if err != nil {
log.Fatal(err)
}
defer file.Close()
maxGoroutines := 500
guard := make(chan struct{}, maxGoroutines)
scanner := bufio.NewScanner(file)
for scanner.Scan() {
guard <- struct{}{}
host := scanner.Text()
go func(host string) {
resolve(host)
<-guard
}(host)
}
if err := scanner.Err(); err != nil {
log.Fatal(err)
}
}
Суть в том, что мы можем набрать пул в 500 горутинов и непрерывно обрабатывать большое количество данных в единицу времени, подгружая равномерно все 12 ядер сервера.
Функция resolve опущена, но кратко — это обычный ресолвер IP с выдачей результата в STDOUT. Обращаемся к DNS, получаем A записи, выдаем результат.
DNS
Прогуглив немного я понял, что большие DNS особо не лимитируют количество запросов с одного IP, но кто знает. Поэтому было принято решение поднять undbound из Docker.
В несколько кликов я получил рекурсивный DNS, попробовал запустить и разочаровался. Так как DNS рекурсивный и кеша у него никакого нет, обращения сначала идут к корневым, а дальше разбегаются по зонам. Происходит это очень и очень медленно, порядка десятка доменов в секунду.
Второй вариант Google DNS, тот который четыре восьмерки, оказался гораздо быстрее. У меня были опасения по лимитам в 500 запросов в секунду —, но по факту их нет.
Тестируем в localhost и на проде
Нельзя сказать что на тестовом ноутбуке граббер работал быстро. 500 горутинов машина не потянула, процесс падал через несколько секунд. Зато все кардинально поменялось на боевом сервере.
1000 горутинов упали на 12 ядрах, а вот 500 практически не грузили проц и работали стабильно. Мощность получилась на уровне ~2000 доменов в секунду.
Это приемлемо, при таком раскладе всю базу можно спарсить за пару суток. На практике все оказалось немного хуже, очень сильно тупит TLD .bar, о которой вероятно нормальный человек и не слышал.
В конечном счёте я оставил процесс в tmux и через трое суток получил CSV размером 10 Гб. Идём дальше.
Ура! Переходим к следующему шагу.
База данных
Я создал таблицу domain_ip, в которой всего два столбца — домен и IP. Оба не уникальны, на один домен может приходиться несколько IP адресов.
IP — это обычный BIGINT domain — VARCHAR 255
Индексы
Очевидно, что выборка из 260 млн записей это довольно большая работа. Поэтому без индексов не обойтись, поиск у нас по IP адресу, значит его и индексируем.
20 минут импорта на тестовой машине и я понял что это фиаско, выборка работает медленно несмотря на индексы. 260 млн записей это очень много. Переходим к плану Б.
Партиционирование
Это метод разделения больших таблиц на мелкие и в дальнейшем уже обращение по нужному адресу сразу к конкретной таблице.
Я разделил весь пул IP адресов на 20 таблиц с шагом 200 млн. Получилось примерно так:
ALTER TABLE domain_ip PARTITION BY RANGE COLUMNS (ip) (
PARTITION p0 VALUES LESS THAN (200000000),
PARTITION p1 VALUES LESS THAN (400000000),
PARTITION p2 VALUES LESS THAN (600000000),
PARTITION p3 VALUES LESS THAN (800000000),
PARTITION p4 VALUES LESS THAN (1000000000),
PARTITION p5 VALUES LESS THAN (1200000000),
PARTITION p6 VALUES LESS THAN (1400000000),
PARTITION p7 VALUES LESS THAN (1600000000),
PARTITION p8 VALUES LESS THAN (1800000000),
PARTITION p9 VALUES LESS THAN (2000000000),
PARTITION p10 VALUES LESS THAN (2200000000),
PARTITION p11 VALUES LESS THAN (2400000000),
PARTITION p12 VALUES LESS THAN (2600000000),
PARTITION p13 VALUES LESS THAN (2800000000),
PARTITION p14 VALUES LESS THAN (3000000000),
PARTITION p15 VALUES LESS THAN (3200000000),
PARTITION p16 VALUES LESS THAN (3400000000),
PARTITION p17 VALUES LESS THAN (3600000000),
PARTITION p18 VALUES LESS THAN (3800000000),
PARTITION p19 VALUES LESS THAN (4000000000),
PARTITION p20 VALUES LESS THAN (MAXVALUE)
);
И как вы поняли это сработало, иначе зачем эта статья? :)
Импорт
Кто работал с MySQL знает, что вливать большие дампы данных это довольно долгая операция. За долгие годы работы я не нашел ничего лучше, чем импорт данных из CSV. Выглядит это примерно так:
LOAD DATA INFILE '/tmp/domains.csv' IGNORE
INTO TABLE domain_ip
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
Машина переваривает CSV размером ~10 Гб за 30 минут.
Финал
Как результат получился вот такой милый сервис. Выборка из ~300 миллионов записей происходит мгновенно на довольно скромном по нынешним меркам сервере. Оперативной памяти нужно под это всё порядка 8 Гб.
Теперь можно узнать например, что к IP 8.8.8.8 человечество прицепило 8194 домена, ну или придумайте сами … ;-)
Спасибо за внимание.
