Архитектура Рунета

Как знают наши читатели, Qrator.Radar неустанно исследует глобальную связность протокола BGP, равно как и региональную. Так как «Интернет» является сокращением от «interconnected networks» — «взаимосвязанных сетей», наилучшим способом обеспечения высоких качества и скорости его работы является богатая и разнообразная связность индивидуальных сетей, чье развитие мотивировано в первую очередь конкуренцией.

Отказоустойчивость интернет-соединения в любом отдельно взятом регионе или стране связана с количеством альтернативных маршрутов между автономными системами — AS. Однако, как мы уже неоднократно писали в наших исследованиях национальной устойчивости сегментов глобальной сети, некоторые пути становятся более важными по-сравнению с остальными (например, пути до Tier-1 транзитных провайдеров или AS, на которых размещены авторитативные DNS-серверы) — это значит, что наличие как можно большего числа альтернативных маршрутов в итоге является единственным жизнеспособным способом обеспечить надежность системы (в смысле AS).

В этот раз, мы поближе посмотрим на устройство интернет-сегмента Российской Федерации. Есть причины не сводить глаз с данного сегмента: согласно данным, которые предоставляет база данных регистратора RIPE, к РФ относится 6183 AS из 88664 зарегистрированных глобально, что составляет 6,87%.

Такой процент ставит Россию на второе место в мире по данному показателю, сразу после США (30,08% зарегистрированных AS) и перед Бразилией, владеющей 6,34% всех автономных систем. Эффекты, которые возникают вследствие изменений российской связности, могут наблюдаться в других странах, зависимых от или примыкающих к данной связности и, наконец, на уровне почти любого интернет-провайдера.

Обзор

image
Диаграмма 1. Распределение автономных систем между странами в IPv4 и IPv6, топ-20 стран

В IPv4 интернет-провайдерами из Российской Федерации анонсируется 33933 из 774859 глобально видимых сетевых префиксов, что представляет 4,38% и ставит российский интернет-сегмент на пятое место такого рейтинга. Данные префиксы, анонсируемые исключительно из RU-сегмента, покрывают 4,3×10^7 уникальных IP-адресов из 2,9×10^9 анонсируемых глобально — 1,51%, 11 место.

image
Диаграмма 2. Распределение сетевых префиксов между странами в IPv4, топ-20 стран

В рамках IPv6 интернет-провайдерами из Российской Федерации анонсируется 1831 из 65532 глобально видимых префиксов, что представляет 2,79% и 7 место. Данные префиксы покрывают 1.3×10^32 уникальных IPv6 адресов из 1,5×10^34 анонсируемых глобально — 0,84% и 18 место.

image
Диаграмма 3. Распределение сетевых префиксов между странами в IPv6, топ-20 стран

Индивидуальный размер


Одним из многих способов оценить связность и надежность Интернета в отдельной стране является ранжирование автономных систем, относящихся к данному региону, по количеству анонсируемых префиксов. Данная методика, однако, уязвима к деагрегации маршрутов, что постепенно балансируется фильтрацией избыточно деагрегированных префиксов на оборудовании интернет-провайдеров, в первую очередь по причине постоянного и неизбежного роста таблиц маршрутизации, занимающих память.

 
Топ-20 IPv4
 
 
Топ-20 IPv6  
ASN
AS Name
Количество префиксов
ASN
AS Name
Количество префиксов
12389
ROSTELECOM-AS
2279
31133
MF-MGSM-AS
56
8402
CORBINA-AS
1283
59504
vpsville-AS
51
24955
UBN-AS
1197
39811
MTSNET-FAR-EAST-AS
30
3216
SOVAM-AS
930
57378
ROSTOV-AS
26
35807
SkyNet-SPB-AS
521
12389
ROSTELECOM-AS
20
44050
PIN-AS
366
42385
RIPN-RU
20
197695
AS-REGRU
315
51604
EKAT-AS
19
12772
ENFORTA-AS
291
51819
YAR-AS
19
41704
OGS-AS
235
50543
SARATOV-AS
18
57129
RU-SERVERSGET-KRSK
225
52207
TULA-AS
18
31133
MF-MGSM-AS
216
206066
TELEDOM-AS
18
49505
SELECTEL
213
57026
CHEB-AS
18
12714
TI-AS
195
49037
MGL-AS
17
15774
TTK-RTL
193
41682
ERTH-TMN-AS
17
12418
QUANTUM
191
21191
ASN-SEVERTTK
16
50340
SELECTEL-MSK
188
41843
ERTH-OMSK-AS
15
28840
TATTELECOM-AS
184
42682
ERTH-NNOV-AS
15
50113
SuperServersDatacenter
181
50498
LIPETSK-AS
15
31163
MF-KAVKAZ-AS
176
50542
VORONEZH-AS
15
21127
ZSTTKAS
162
51645
IRKUTSK-AS
15

Таблица 1. Размер AS по количеству анонсируемых префиксов

Мы используем агрегированный размер анонсированного адресного пространства в качестве более надежной метрики для сравнения размеров автономных систем, который определяет ее потенциал и пределы, до которых она может масштабироваться. Эта метрика не всегда релевантна в IPv6 в силу действующих политик выделения IPv6 адресов RIPE NCC и заложенной в протокол избыточности.

Постепенно, данная ситуация будет балансироваться ростом использования IPv6 в российском сегменте интернета и развитием практик работы с протоколом IPv6.

 
Топ-20 IPv4
 
 
Топ-20 IPv6
 
ASN
AS Name
Количество IP-адресов
ASN
AS Name
Количество IP-адресов
12389
ROSTELECOM-AS
8994816
59504
vpsville-AS
2.76×10^30
8402
CORBINA-AS
2228864
49335
NCONNECT-AS
2.06×10^30
12714
TI-AS
1206272
8359
MTS
1.43×10^30
8359
MTS
1162752
50113
SuperServersDatacenter
1.35×10^30
3216
SOVAM-AS
872608
201211
DRUGOYTEL-AS
1.27×10^30
31200
NTK
566272
34241
NCT-AS
1.27×10^30
42610
NCNET-AS
523264
202984
team-host
1.27×10^30
25513
ASN-MGTS-USPD
414464
12695
DINET-AS
9.51×10^29
39927
Elight-AS
351744
206766
INETTECH1-AS
8.72×10^29
20485
TRANSTELECOM
350720
20485
TRANSTELECOM
7.92×10^29
8342
RTCOMM-AS
350464
12722
RECONN
7.92×10^29
28840
TATTELECOM-AS
336896
47764
mailru-as
7.92×10^29
8369
INTERSVYAZ-AS
326912
44050
PIN-AS
7.13×10^29
28812
JSCBIS-AS
319488
45027
INETTECH-AS
7.13×10^29
12332
PRIMORYE-AS
303104
3267
RUNNET
7.13×10^29
20632
PETERSTAR-AS
284416
34580
UNITLINE_MSK_NET1
7.13×10^29
8615
CNT-AS
278528
25341
LINIYA-AS
7.13×10^29
35807
SkyNet-SPB-AS
275968
60252
OST-LLC-AS
7.13×10^29
3267
RUNNET
272640
28884
MR-SIB-MTSAS
6.73×10^29
41733
ZTELECOM-AS
266240
42244
ESERVER
6.44×10^29

Таблица 2. Размер AS по количеству анонсируемых IP-адресов

Обе метрики — количество анонсируемых префиксов и агрегированный размер адресного пространства — поддаются манипуляции. Хотя мы и не увидели подобного поведения от упомянутых AS за время проведения исследования.

Связность


Существует 3 основных типа отношений между автономными системами:
• Клиент: платит другой AS за транзит трафика;
• Пиринг-партнер: AS обменивающаяся своим и клиентским трафиком бесплатно;
• Поставщик: получает платежи за транзит трафика от других AS.

Обычно, данные типы взаимоотношений одинаковы для любых двух интернет-провайдеров, что подтверждается в рассматриваемом нами регионе РФ. Тем не менее, иногда бывает, что два интернет-провайдера имеют разные типы отношений в разных регионах, например обмениваясь бесплатно в Европе, но имея коммерческие отношения в Азии.

 
Топ-20 IPv4
 
 
Топ-20 IPv6
 
ASN
AS Name
Количество клиентов в регионе
ASN
AS Name
Количество клиентов в регионе
12389
ROSTELECOM-AS
818
20485
TRANSTELECOM
94
3216
SOVAM-AS
667
12389
ROSTELECOM-AS
82
20485
TRANSTELECOM
589
31133
MF-MGSM-AS
77
31133
MF-MGSM-AS
467
20764
RASCOM-AS
72
8359
MTS
313
3216
SOVAM-AS
70
20764
RASCOM-AS
223
9049
ERTH-TRANSIT-AS
58
9049
ERTH-TRANSIT-AS
220
8359
MTS
51
8732
COMCOR-AS
170
29076
CITYTELECOM-AS
40
2854
ROSPRINT-AS
152
31500
GLOBALNET-AS
32
29076
CITYTELECOM-AS
143
3267
RUNNET
26
29226
MASTERTEL-AS
143
25478
IHOME-AS
22
28917
Fiord-AS
96
28917
Fiord-AS
21
25159
SONICDUO-AS
94
199599
CIREX
17
3267
RUNNET
93
29226
MASTERTEL-AS
13
31500
GLOBALNET-AS
87
8732
COMCOR-AS
12
13094
SFO-IX-AS
80
35000
PROMETEY
12
31261
GARS-AS
80
49063
DTLN
11
25478
IHOME-AS
78
42861
FOTONTELECOM
10
12695
DINET-AS
76
56534
PIRIX-INET-AS
9
8641
NAUKANET-AS
73
48858
Milecom-as
8

Таблица 3. Связность AS по количеству клиентов

Количество клиентов заданной AS отображает ее роль, как прямого поставщика услуги интернет-связности коммерческим потребителям.

 
Топ-20 IPv4
 
 
Топ-20 IPv6
 
ASN
AS Name
Количество пиринг-партнеров в регионе
ASN
AS Name
Количество пиринг-партнеров в регионе
13238
YANDEX
638
13238
YANDEX
266
43267
First_Line-SP_for_b2b_customers
579
9049
ERTH-TRANSIT-AS
201
9049
ERTH-TRANSIT-AS
498
60357
MEGAGROUP-AS
189
201588
MOSCONNECT-AS
497
41617
SOLID-IFC
177
44020
CLN-AS
474
41268
LANTA-AS
176
41268
LANTA-AS
432
3267
RUNNET
86
15672
TZTELECOM
430
31133
MF-MGSM-AS
78
39442
UNICO-AS
424
60764
TK-Telecom
74
39087
PAKT-AS
422
12389
ROSTELECOM-AS
52
199805
UGO-AS
418
42861
FOTONTELECOM
32
200487
FASTVPS
417
8359
MTS
28
41691
SUMTEL-AS-RIPE
399
20764
RASCOM-AS
26
13094
SFO-IX-AS
388
20485
TRANSTELECOM
17
60357
MEGAGROUP-AS
368
28917
Fiord-AS
16
41617
SOLID-IFC
347
31500
GLOBALNET-AS
14
51674
Mehanika-AS
345
60388
TRANSNEFT-TELECOM-AS
14
49675
SKBKONTUR-AS
343
42385
RIPN-RU
13
35539
INFOLINK-T-AS
310
3216
SOVAM-AS
12
42861
FOTONTELECOM
303
49063
DTLN
12
25227
ASN-AVANTEL-MSK
301
44843
OBTEL-AS
11

Таблица 4. Связность AS по количеству пиринг-партнеров

Большое количество пиринг-партнеров может значительно улучшить связность целого региона. Здесь важны, хотя и не обязательны, точки обмена трафиком (IX — Internet Exchange) — крупнейшие интернет-провайдеры обычно не участвуют в региональном обмене (за несколькими, достойными упоминания исключениями, такими как NIXI) из-за природы их бизнеса.

Для контент-провайдера количество пиринг-партнеров может косвенно служить индикатором объема генерируемого трафика — стимул обмениваться большими его объемами бесплатно является фактором мотивации (достаточным для большинства локальных интернет-провайдеров) к тому, чтобы видеть в контент-провайдере достойного кандидата в пиринг-партнеры. Есть и обратные случаи, когда контент-провайдеры не поддерживают политику значительного числа региональных соединений, что делает данный индикатор не слишком точным для оценки размера именно контент-провайдеров, то есть объема генерируемого ими трафика.

 
Топ-20 IPv4
 
 
Топ-20 IPv6
 
ASN
AS Name
Размер клиентского конуса
ASN
AS Name
Размер клиентского конуса
3216
SOVAM-AS
3083
31133
MF-MGSM-AS
335
12389
ROSTELECOM-AS
2973
20485
TRANSTELECOM
219
20485
TRANSTELECOM
2587
12389
ROSTELECOM-AS
205
8732
COMCOR-AS
2463
8732
COMCOR-AS
183
31133
MF-MGSM-AS
2318
20764
RASCOM-AS
166
8359
MTS
2293
3216
SOVAM-AS
143
20764
RASCOM-AS
2251
8359
MTS
143
9049
ERTH-TRANSIT-AS
1407
3267
RUNNET
88
29076
CITYTELECOM-AS
860
29076
CITYTELECOM-AS
84
28917
Fiord-AS
683
28917
Fiord-AS
70
3267
RUNNET
664
9049
ERTH-TRANSIT-AS
65
25478
IHOME-AS
616
31500
GLOBALNET-AS
54
43727
KVANT-TELECOM
476
25478
IHOME-AS
33
31500
GLOBALNET-AS
459
199599
CIREX
24
57724
DDOS-GUARD
349
43727
KVANT-TELECOM
20
13094
SFO-IX-AS
294
39134
UNITEDNET
20
199599
CIREX
290
15835
MAP
15
29226
MASTERTEL-AS
227
29226
MASTERTEL-AS
14
201706
AS-SERVICEPIPE
208
35000
PROMETEY
14
8641
NAUKANET-AS
169
49063
DTLN
13

Таблица 5. Связность AS по размеру клиентского конуса

Клиентский конус представляет собой множество всех AS, являющихся прямо или косвенно зависимыми на рассматриваемой автономной системе. С экономической точки зрения, каждая AS внутри клиентского конуса является, прямо или косвенно, платящим клиентом. На более высоком уровне, количество AS внутри клиентского конуса, равно как и количество прямых потребителей, является ключевым показателем связности.

Наконец, мы приготовили для вас еще одну таблицу, рассматривающую связность до ядра Рунета. Понимая структуру ядра региональной связности, исходя из числа прямых клиентов и размера клиентского конуса для каждой автономной системы в регионе, мы можем подсчитать, насколько далеко они находятся от крупнейших в регионе транзитных интернет-провайдеров. Чем ниже число — тем выше связность.»1» означает, что для всех видимых путей существует прямая связность с региональным ядром.

 
IPv4 top 20
 
 
IPv6 top 20
 
ASN
AS Name
Connectivity rating
ASN
AS Name
Connectivity rating
8997
ASN-SPBNIT
1.0
21109
CONTACT-AS
1.0
47764
mailru-as
1.0
31133
MF-MGSM-AS
1.0
42448
ERA-AS
1.0
20485
TRANSTELECOM
1.0
13094
SFO-IX-AS
1.0
47541
VKONTAKTE-SPB-AS
1.0
47541
VKONTAKTE-SPB-AS
1.07
13238
YANDEX
1.05
13238
YANDEX
1.1
8470
MAcomnet
1.17
3216
SOVAM-AS
1.11
12389
ROSTELECOM-AS
1.19
48061
GPM-TECH-AS
1.11
41722
MIRAN-AS
1.2
31133
MF-MGSM-AS
1.11
8359
MTS
1.22
8359
MTS
1.12
60879
SYSTEMPROJECTS-AS
1.25
41268
LANTA-AS
1.13
41268
LANTA-AS
1.25
9049
ERTH-TRANSIT-AS
1.16
44020
CLN-AS
1.25
20485
TRANSTELECOM
1.18
29226
MASTERTEL-AS
1.25
29076
CITYTELECOM-AS
1.18
44943
RAMNET-AS
1.25
12389
ROSTELECOM-AS
1.23
12714
TI-AS
1.25
57629
IVI-RU
1.25
47764
mailru-as
1.25
48297
DOORHAN
1.25
44267
IESV
1.25
42632
MNOGOBYTE-AS
1.25
203730
SVIAZINVESTREGION
1.25
44020
CLN-AS
1.25
3216
SOVAM-AS
1.25
12668
MIRALOGIC-AS
1.25
24739
SEVEREN-TELECOM
1.29

Таблица 6. Связность AS по расстоянию до ядра региональной связности

Что может быть предпринято для улучшения общей связности и, в результате, стабильности, надежности и безопасности любой страны, Российской Федерации в частности? Вот лишь некоторые из мер:

  • Налоговые вычеты и другие льготы для локальных операторов точек обмена трафиком, а также свободный доступ к ним;
  • Бесплатный или дешевый сервитут земли под прокладку оптоволоконных коммуникационных линий;
  • Проведение тренингов и обучающих занятий для технического персонала в отдаленных регионах, включая воркшопы и другие форматы обучения лучшим практикам работы с BGP. RIPE NCC организует часть из них, доступных по ссылке.

Данные, представленные выше, являются выдержкой из исследования, проведённого Qrator Labs в отношении второго по размерам в мире регионального Интернет-сегмента Российской Федерации (известного также как «Рунет») на основе открытых данных, собираемых и обрабатываемых в рамках проекта Radar. Презентация полного исследования заявлена в качестве воркшопа (workshop) в рамках 10th Asia Pacific Regional Internet Governance Forum в июле. Запрос аналогичных данных для сегментов иных стран и регионов можно направить на e-mail-адрес mail@qrator.net.

© Habrahabr.ru