Хостинг и выделенные серверы: отвечаем на вопросы. Часть 2
В этой серии статей мы хотим рассмотреть вопросы, которые возникают у людей при работе с хостинг-провайдерами и выделенными серверами в частности. Большинство из обсуждений мы вели на англоязычных форумах, стараясь пользователям в первую очередь помочь советом, а не саморекламой, дав максимально подробный и беспристрастный ответ, ведь наш опыт в сфере уже свыше 14 лет, сотни успешных реализованных решений и тысячи довольных клиентов. Тем не менее наши ответы не следует воспринимать, как единственно правильные ответы первой инстанции, они вполне могут содержать неточности и даже ошибки, никто не идеален. Будем признательны, если вы дополните или исправите их в комментариях.
Хостинг и выделенные серверы: отвечаем на вопросы. Часть 1
Здравствуйте хостеры. Прошу прощения если вопрос глупый. Но почему интернет в дц дороже чем у городского провайдера? Дома 1 гб стоит 500–600р. У хостеров с выше 20к. Почему так?— Добавлено 01.06.2020 в 17:21 — Хотя наверное цена формируется спросом, домушних клинтов много от того и цена ниже, наверное.
На самом деле вопрос очень сложный и обширный, и совсем не глупый. И немного заставляет нас вспомнить о том, что такое Интернет в принципе. А именно, что это множество отдельных устройств, объединенных зачастую в более крупные сети, которые в свою очередь вместе объедены в одну всемирную Сеть благодаря протоколу TCP/IP и проводным или беспроводным линиям связи, которые принадлежат различным участникам сети. Эти устройства и сети, общаются между собой согласно правилам BGP, которые устанавливают эти участники сети, и именно они имеют возможность определять по каким маршрутам и с какой скоростью возможен доступ между двумя отдельно взятыми сегментами.
Потому,»1 гигабит» — весьма условное значение. 1 гигабит куда? Сможете ли Вы, используя домашний Интернет, передавать данные с такой скоростью кому-нибудь на Аляску? Или быть может этот 1 гигабит возможен только в пределах Вашего города? Куда этот гигабит обеспечивается и обеспечивается ли он постоянно? Или всё же в описании тарифа указана волшебная приставка «до»? И в те моменты, которые он не обеспечивается, возможно получить гораздо меньшую скорость? Или же Вы далеко не постоянно используете свой канал, и не на 100% всё время и за счет этого один и тот же физический или виртуальный канал может использовать сотня другая других абонентов и при этом не мешать друг другу, так как каждый загружает и передаёт данные в разное время и с разной интенсивностью?
Только подумайте, если загружать канал 1 Гбит / с постоянно, то на протяжении месяца можно скачать до 324 000 ГБ данных. Насколько большой жесткий диск или SSD в Вашем компьютере? Сколько Вы качаете в месяц? 300, 500, 1000 ГБ? И самое главное, как, когда и откуда?
Давайте разберёмся с этим вопросом подробнее. На заре эволюции сети Интернет, люди, как в Украине, так и РФ, обменивались данными преимущественно между собой в пределах небольших территорий. Так как доступ к зарубежным сетям был довольно дорогим.
В начале каждый из небольших провайдеров подключался к одному и тому же, более крупному провайдеру, и именно он определял уже, кто и как, из меньших провайдеров — его клиентов, на каких условиях и на каких скоростях будет сообщаться, используя предоставляемые им линии связи. За счет этого абоненты из разных районов одного населённого пункта могли передавать данные друг другу и общаться сравнительно недорого, так как информация проходила по линиям связи исключительно в пределах этого населённого пункта. В то время, как при общении с абонентами из соседнего города, нередка была ситуация, что трафик шел через другую страну или даже несколько стран из-за отсутствия прямой скоростной линии связи между региональными провайдерами, ввиду большой удалённости и дороговизны построения такого соединения. Но каждый из них был подключен с более крупным участником сети Интернет, транзитным провайдером первого уровня Tier I, владеющим физическими линиями связи, проходящими через несколько стран и связывающих крупных провайдеров из отдельно взятых регионов. Интернет был довольно таки раздроблен.
Что такое Интернет в 2000-х? Это множество локальных сетей в отдельно взятых городах и районах, состоящих из индивидуальных пользователей, которые стремились подключится в одну сеть с целью обмена файлами (видео, играми и прочей информации) практически бесплатно, на скорости, которая значительно превышает модемную, в то время, как доступ вне этих сетей в то, что называется World Wide Web, был крайне дорогим и медленным.
По сути именно тогда возникла иерархия провайдеров, обеспечивающих связность сетей — Tier I, Tier II и Tier III.
Tier III — провайдер третьего уровня, обеспечивающий доступ в Интернет-сеть отдельно взятых клиентов — нас с Вами, домашних пользователей сети Интернет и юридических лиц. Он всегда покупает каналы у более крупных провайдеров, уровней Tier II и Tier I. То есть платит за трафик всем, ну почти всем :)
Tier II — это региональный провайдер, имеющий магистрали, покрывающие определённый регион (город, страну, или даже несколько стран), к которому подключено несколько провайдеров Tier III, которым требуется, как доступ в глобальную сеть, так и связность между собой. Он получает плату за трафик, который проходит по его сетям до провайдеров Tier III (зарабатывая на локальном трафике в своих сетях), при этом оплачивает трафик из глобальной сети, который приобретает у транзитных провайдеров уровня Tier I.
Tier I — никому не платит за трафик, к нему могут подключаться, как отдельно взятые провайдеры Tier III, так и Tier II.
Чтоб было понятнее, разберём на примере. К примеру есть Cogent и Telia, это крупные магистральные провайдеры I уровня, которые имеют точки присутствия во многих городах и странах и собственные линии связи между ними. С ними хотят соединится более небольшие провайдеры из этих регионов, для того, чтоб более эффективно обмениваться трафиком между собой и иметь подключение к «глобальной сети», так как каждый оператор уровня Tier II соединён обязательно как минимум с одним оператором уровня Tier I, а на самом деле двумя (для обеспечения отказоустойчивости), и не тратится на дорогие магистральные линии связи, если нет большого трафика в определённом направлении. Ведь зачем тянуть прямой канал из Киева в Москву, если Вы небольшой провайдер, и Ваши абоненты используют всего 1 Гбит / с по этому направлению, в то время, как магистральный канал может иметь ёмкость в десятки и даже сотни тысяч гигабит и проложить собственное волокно довольно дорого.
В тоже время, есть магистральные провайдеры I уровня, обладающие сравнительно небольшой сетью. К примеру, если провайдер предоставляет волокно из Лондона в Нью-Йорк, то он также может быть провайдером первого уровня, если у него арендуют это волокно или часть ёмкости (виртуальный канал) провайдеры II и III уровня, расположенные в США и/или Европе как с целью увеличения пропускной способности сети по определённому направлению, так и для повышения отказоустойчивости за счёт альтернативного маршрута.
Тем не менее, поскольку прокладка подводных магистралей весьма дорогостоящая, магистральные провайдеры I уровня имеют сети протяженностью в десятки тысяч км зачастую, так как мало кто имеет только одну небольшую магистраль и при этом не хочет покупать доступ к другим сетям.
Статья в тему: Сообщения в глубине: удивительная история подводного Интернета
Для того, чтоб обеспечивать глобальный доступ ко всем сетям, операторы первого уровня заключают между собой договорённости по обмену трафиком и используют для этого точки обмена, в разультате они не платят никому, а берут деньги со всех. Иногда, чтоб расширить сферу влияния и получить как можно большую долю трафика, устраиваются пиринговые войны между крупными игроками, когда абоненты сетей использующих Tier I одного поставщика, теряют связность с абонентами сетей Tier I другого поставщика. В результате чего Интернет сеть дробится. Но не будем сильно отвлекаться от темы, так как о вопросе пиринговых войн, пожалуй, следует рассказать отдельно.
Больше всех в этой истории «не везёт» Tier III провайдерам, так как они платят всем за трафик. В результате еще в 2000-х провайдеры стали прокладывать сети друг к другу, чтоб сэкономить на трафике и обмениваться между собой трафиком бесплатно или за небольшую плату. Как правило тот, кто прокладывает волокно, и использует его бесплатно, другая же сторона вынуждена платить «арендную плату», так как первая сторона инвестировала средства и оплачивать обслуживание волоконно-оптической сети.
К примеру, провайдер А потребляет много трафика от абонентов из провайдера Б. У провайдера А это трафик входящий, в то время как для провайдера Б этот трафик исходящий. Как Вы думаете, кому из провайдеров более выгоден пиринг?
Рассматривая этот вопрос нужно вспомнить о том, где находятся сайты? На серверах. А серверы? В дата-центрах. Дата-центры генерируют огромное количество трафика, так как с серверов информацию скачивают… У них основной трафик — исходящий. В то время, как у провайдеров, обеспечивающих доступ в сеть Интернет нам с Вами, наоборот — входящий. Итог, 1 Гбит / с емкости продается сразу двум различным типам абонентов, чтоб использовать его эффективно — Дата-Центрам и провайдерам доступа в сеть Интернет. Так поступают Tier I операторы. Зарабатывают на всех.
Зачастую пиринг (прямое сообщение между сетями, в обход других сетей) будет выгоден прежде всего для той стороны, чьи абоненты генерируют очень много трафика в определённом направлении. И именно эта сторона будет искать решение его построить, тем самым сэкономив средства, и продав свободный канал ЦОДу или другому провайдеру, который обеспечивает доступ в сеть Интернет (смотря кто Вы, ЦОД или ISP).
Чем больше вы генерируете трафика — тем большее количество разных других провайдеров будет желать пириться с Вами. Условия пиринга могут быть различны — к примеру, Вы можете выделять порт на своем маршрутизаторе бесплатно, если провайдер строит волокно к Вам за свой счет, или это может быть 50/50 или другое соотношение, или даже Вы можете брать с провайдера плату за порт, если Вам не на столько выгоден этот пиринг и Вы с удовольствием можете отдать трафик провайдеру Tier I, обеспечив больший объем у него и скидку.
Но очень часто, чтоб упростить схему и разделить более справедливо расходы, создаются так называемые точки обмена трафиком. Когда каждый платит свой взнос в точку обмена за участие (по сути точка обмена является Tier I провайдером) или существует какое-то правило, что ты должен генерировать столько-то трафика, иначе взымается плата. При этом каждый из участников подключается в точку за свой счёт, строит собственную магистраль или арендует волокно до точки.
К примеру, в 2004 году стоимость участия в точке обмена трафиком UA-IX (украинская точка обмена трафиком, расположенная в Киеве) составляла $2530 за 1 Гбит / с за первый месяц, и $330 за последующий. Эти условия мы можем видеть благодаря Интернет-архиву. При этом каждый из провайдеров обеспечивал волокно от себя до точки самостоятельно, либо брал его в аренду. И это было всё-равно значительно более выгодно, нежели оплачивать дорогой трафик тому же Укртелекому (магистральному провайдеру второго уровня), который продавал гигабит в Интернет за $20 000 / месяц за 8 Мбит / с без учёта трафика и предоставлял довольно дорогие услуги IP-транзита между регионами внутри страны.
Более полную информацию можно найти в статье: 20 лет эволюции сети Интернет в Украине, а какой вы помните сеть 20 или 10 лет назад?
При этом домашние сети продавали доступ к Украинскому сегменту сети Интернет частным пользователям всего лишь за $20 в месяц без ограничений на скорости 100 Мбит / с, когда сами платили как минимум $33+обслуживание волокна или его аренда до точки обмена. Коэффициент оверселла увы не могу предугадать —, но это десятки абонентов точно, если не сотни. Интересно, что сегодня 100 гигабит в UA-IX можно купить менее, чем за $400 в месяц и уже не нужно выбивать разрешение у других участников точки обмена трафика, как это было раньше. Разумеется, это только порт в маршруизаторе, Вас всё ещё нужно провести свои волокна до точки обмена.
Переходим к теме оверселла более плотно. Скольким абонентам можно продать канал 1 Гбит / с, чтоб у каждого была высокая скорость? Не поверите, но в начале 2009-го, один из провайдеров домашних сетей, сумел продавать высокоскоростной доступ в сеть Интернет на скорости до 100 Мбит / с (в зарубежный сегмент скорость была ниже, но тоже довольно приличная) из рассчета 15 000 клиентов на 1 Гбит / с зарубежного трафика. На мой резонный вопрос, как такое возможно — был дан ответ, что большая часть сидит в соцсетях (на то время видео не было так популярно) и в целом все помещаются, так как трафик небольошой + используются кеширующие севреры, которые помогают дважды не скачивать один и тот же контент из внешних сетей. Плюс тот факт, что абонентам не ограничивают сильно канал, позволяет сделать периоды потребления трафика более коротким по времени и быстрее освободить канал для запросов других абонентов. Важно просто правильно выдерживать баланс.
Итог, 1 Гбит / с, предлагающийся ТС-у, скорее всего разделяется между несколькими сотнями клиентов, если не тысячей. Так как даже если предположить, что каждый прокачает в среднем 150–300 ГБ за месяц, пропускной способности будет веероятно будет достаточно, даже с учетом того, что в ночное время канал менее загружен, чем в дневное. Тем более, что не факт, что трафик не локальный. Ведь если качать тот же торрент, а Вы абонент крупного провайдера, высока вероятность того, что Вы будете качать у абонента из своей же сети или региона, трафик к которому не на столько дорогой. Youtube и другие популярные генераторы трафика, чтоб уменьшить расходы и быть ближе к своей аудитории строят дата-центры и размещают серверы как можно ближе, в результате чего стоимость трафика также получается весьма невысокой.
Плюс существуют каналы разные по качеству. У Вас вполне может обеспечиваться гигабит по РФ, но в зарубеж на один поток вряд ли будет обеспечена такая скорость. Более того, нужно не забывать, что пропускная способность зависит не только от канала с Вашей стороны, но и от того ресурса, с которого Вы качаете.
Так почему же трафик, при размещении в дата-центрах, более дорогой? Дело в том, что серверы статистически отдают гораздо больше трафика, нежели пользователи домашнего Интернета потребляют входящего, так как один сервер обслуживать может сотни тысяч запросов и даже миллионы. Помимо прочего, дата-центры резервируют каналы в значительно большей степени, нежели провайдеры доступа к сети Интернет для домашних пользователей, так как севрер должен быть в сети 24/7. И это также влияет на цену. К примеру, на новой площадке в Амстердаме, где мы в данный момент размещаем абонентов, мы используем Tier I магистрали сразу от трёх «топовых» магистральных провайдеров — Level 3, GTT, NTT.
Стоимость коннективности может составлять 3000 евро за каждые 10 Гбит / с и даже больше. При этом, если Вы используете только 2 магистральных оператора, и Вам нужно для сервера обеспечить резервирование 2N, получается, что половина коннективности использоваться не может. Получается, что на каждые 10 Гбит / с, Вам нужно купить 20, потратив 6000 евро, и держать половину емкости на случай недопустности первых 10, что удорожает стоимость в 2 раза. Однако, если магистральных операторов 3, то досточно резервировать лишь треть полосы. Так как Вы одновременно можете потерять максимум треть.
Как правило каналы, которые стоят так дорого, обеспечивают невероятно высокую скорость на поток, и эти провайдеры имеют довольно распространённую по миру сеть, что позволяет обеспечить минимальное возможное количество хопов между Вами и аудиторией, а значит и минимальный пинг. Тем не менее у дата-центров всегда есть возможность сэкономить, создав пиринговые соединения к нужным сетям и точкам обмена. Не всегда это положительно влияет на связность и потому качество трафика может быть весьма различным.
Так Cogent считается одним из самых дешевых магистральных провайдеров. Мы продаём канал в 10 гигабит для индивидуальных клиентов 1N по невероятно низким ценам, дешевле, чем покупаем его сами, так как далеко не каждый использует пропусную способность полностью. Плюс о 1 или 10 гигабитам в на поток речь не идёт (канал точка-точка 1 или 10 гигабит с гарантированным QoS может стоить невероятных денег), подразумевается, что клиент может сгенерировать 10 гигабит суммарно для 1000 или 2000 абонентов, когда скорость на поток не превысит 10 Мбит / с, но этого вполне достаточно, чтоб с комфортом посетители смотрели потоковое видео в HD-качестве из большинства регионов РФ и Украины с серверов, расположенных в Нидерландах. Тем же, кому нужна большая гарантированная скорость на поток и QoS требуется покупать еще более дорогие каналы.
То же самое относится и к серверам с лимитом трафика 100 ТБ и каналом 1 Гбит / с (это по сути треть или даже половина гигабита). Мы отдаем этот трафик не за 20к, но и не за 500–600 рублей. Найдя возможность предоставлять минимальную цену, так как далеко не каждый использует свой лимит. Знаете сколько в среднем по статистике 50 серверов с каналом 1 Гбит / с и лимитом 100 ТБ генерируют трафика? 2–3 Гбит / с. Именно потому мы имеем возможность продавать абонентам канал дешевле, чем он стоит нам. Но конечно, не в настолько хорошем соотношении, как для пользователей домашних сетей, так как серверов одновременно пользуются сотни, тысячи и даже тысячи человек.
Помимо прочего, у нас, как у хостинг-провайдера, существуют дополнительны расходы, на маршрутизацию этого трафика, так как больший уровень потребления (суммарный) вынуждает иметь более дорогостящее оборудование, и, как результат, более дорогостоющую сеть. Только вдумайтесь! В 2014 году мы сгенерировали трафика больше, чем вся Беларусь:
«ua-hosting.company» или как стать хостинг-провайдером с нуля и сгенерировать трафика больше, чем вся Беларусь
Немного рекламы :)
Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5–2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
Dell R730xd в 2 раза дешевле в дата-центре Equinix Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5–2697v3 2.6GHz 14C 64GB DDR4 4×960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5–2430 2.2Ghz 6C 128GB DDR3 2×960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5–2650 v4 стоимостью 9000 евро за копейки?
