CNews составил первый рейтинг российских облачных провайдеров по качеству услуг
Облака
15.10.2020, Чт, 10:56, Мск
В первом квартале 2020 г. CNews провел конкурс на размещение своей ИТ-инфраструктуры в облаке. Собранная информация об условиях предоставления сервисов российскими облачными провайдерами оказалась настолько интересной и уникальной, что CNews решил поделиться ею с рынком, представив в виде рейтинга.
Первое исследование качества облачных услуг
В первом квартале 2020 г. для размещения своей ИТ-инфраструктуры в облаке CNews провел микротендер и отправил запросы крупнейшим российским облачным провайдерам, чья выручка превысила ₽1,5 млрд: SoftLine, «Ростелеком», DataLine, Selectel, «КРОК», а также заметным игрокам из смежных рынков: МТС, Mail.ru, «Билайн», «Яндекс». Собранная информация оказалась настолько интересной и уникальной, что CNews решил поделиться ею с рынком, представив в виде рейтинга.
Полученные в ходе запросов облачным провайдерам данные условно можно разделить на три группы: параметры клиентоориентированности (время реакции на запросы и срок предоставления коммерческих предложений); технические параметры облачных платформ (производительность процессоров, пропускная способность сетей между виртуальными машинами, проверенные в ходе работы в демо-доступе); организационные характеристики (наличие ошибок при составлении КП, развитая линейка дополнительных услуг, наличие сертификатов, доступность сервисов и т.д.).
Критерии оценки
При составлении рейтинга была применена дифференцированная система оценки: в каждом из трех блоков индивидуально формировался итоговый балл.
В анализе параметра клиентоориентированности использовалась десятибалльная система. В зависимости от быстроты получения обратной связи каждому провайдеру присваивалась соответствующая оценка.
Таблица начисления баллов по параметру «Клиентоориентированность»
| Балл | 10 | 9 | 8 | 7 | 6 | 5 | 4 | 3 | 2 | 1 |
|---|---|---|---|---|---|---|---|---|---|---|
| Срок реакции на первое обращение | <10 мин. | 11–30 мин. | 0,5–1 ч. | 1–1,5 ч. | 1,5–2 ч. | 2–3 ч. | 3–4 ч. | 4–5 ч. | 5–9 ч. | >9 ч. |
| Срок предоставления КП | <6 ч. | 6–12 ч. | 1–2 дня | 2–3 дня | 3–4 дня | 5–6 дней | 6–7 дней | 7–8 дней | >8 дней | Не предоставили |
Источник: CNews Analytics
Для оценки технических параметров была применена побалльная градация от лучших результатов к худшим с увеличенным шагом между баллами.
Таблица начисления баллов по параметру «Технические характеристики»
| Балл | 10 | 8 | 7 | 6 | 5 | 3 | 1 |
|---|---|---|---|---|---|---|---|
| Производительность процессоров | >180 | 165–180 | 150–164 | 135–150 | 120–134 | <130 | |
| Пропускная способность каналов | >14 | 7–14 | 3–7 | <3 |
Источник: CNews Analytics
При оценке организации работы использовалась многофакторная оценка, учитывающая даже незначительные отклонения от референсных значений. Например, при получении исключительно полярных оценок участникам выставлялось либо 10, либо 1 балл.
Таблица начисления баллов по параметру «Организационные характеристики»
| Балл | 10 | 9 | 8 | 7 | 5 | 3 | 2 | 1 |
|---|---|---|---|---|---|---|---|---|
| Метод расчетов | Постоплата | Предоплата | ||||||
| Частота тарификации | Почасовая | Реже | ||||||
| Сертификация ЦОД | Есть | Нет | ||||||
| Предоставленное КП | Соответствует запросу | С неточностями, включение дополнительных услуг | Не предоставлено | |||||
| Перечень сервисов | Все из запрошенных | Практически все из запрошенных | Меньше половины из запрошенных | |||||
| Наличие сертификата PCI DSS | Есть | Частично (не для всех ЦОД) | Нет | |||||
| Количество используемых ЦОД | Больше 3, ЦОД в собственности | Меньше 3 | Информация не предоставлена | |||||
| Референсы от заказчиков уровня enterprise | Предоставлено >10 референсов | Предоставлено <10 референсов | Информация не предоставлена | |||||
| Наличие сертификата ISO | Есть | В планах | Нет | |||||
| Регламентные работы | Без перерывов в обслуживании | С перерывами в ночное время и с предупреждением | С длительными перерывами (до 8–9 часов) | |||||
| Доступность сервиса (по данным провайдера) | 99,96 | 99,95 | 99,93 | 99,90 |
Источник: CNews Analytics
Для объективности и простоты расчета выведен средний показатель по каждому параметру, с которым сравнивается балл каждого провайдера, в результате чего выводится сводная оценка. Такой подход помогает увидеть сильные и слабые стороны каждого участника исследования. Если результат ниже единицы, то это слабая составляющая для провайдера, если больше — то сильная.
Клиентоориентированность
Клиентоориентированностьоценивалась по скорости реакции на запрос (время до первого ответа, время до получения коммерческого предложения).
Также в ходе коммуникаций с провайдерами было уделено внимание возможности вести общение по удобному для заказчика каналу связи. По умолчанию для всех участников тендера таким каналом была выбрана электронная почта, однако далеко не все компании, опрошенные CNews, с уважением относились к этому выбору. Некоторые настаивали на дополнительных звонках и личных встречах, увеличивая тем самым срок предоставления информации.
Итоговые результаты по параметру «клиентоориентированность»
| Провайдер | Билайн | Даталайн | Крок | Mail.ru | МТС | Ростелеком | Софтлайн |
|---|---|---|---|---|---|---|---|
| Время до первого ответа | 2 | 4 | 6 | 9 | 3 | 10 | 1 |
| Время отправки КП | 5 | 4 | 9 | 5 | 7 | 10 | 6 |
| Суммарный балл | 3,5 | 4 | 7,5 | 7 | 5 | 10 | 3,5 |
| Оценка по показателю «клиентоориентированность» (Средний балл — 5,8) | 0,6 | 0,7 | 1,3 | 1,2 | 0,9 | 1,7 | 0,6 |
Источник: CNews Analytics
Лидером по клиентоориентированности оказалась компания «Ростелеком», сотрудники которой ответили через 2 минуты после получения запроса и составили коммерческое предложение за полдня.
Технические характеристики
Блок технических характеристик состоял из анализа таких параметров, как производительность процессоров и пропускная способность сетей между виртуальными машинами. Важный момент: эти параметры были проверены в ходе работы через демо-доступ к облачным платформам провайдеров. При оценке производительности использовалась утилита Nbench. Объективно сравнить производительность дисковых подсистем не удалось ввиду того, что на время тестирования провайдеры предоставляют разные по своим техническим параметрам диски.
Специалистами CNews исследовались только те варианты демо-доступа, которые не требовали заключения договора, оплаты или отсрочки оплаты в счет будущего контакта. Два провайдера: «Селектел» и «Яндекс.Облако» не предоставили возможность проверить заявленные характеристики во время демо-доступа, поэтому не участвовали в рейтинге.
Итоговые результаты по параметру «технические характеристики»
| Провайдер | Билайн | Даталайн | Крок | Mail.ru | МТС | Ростелеком | Софтлайн |
|---|---|---|---|---|---|---|---|
| Производительность процессоров | 10 | 6 | 10 | 3 | 10 | 8 | 5 |
| Пропускная способность | 10 | 10 | 10 | 1 | 7 | 7 | 3 |
| Суммарный балл | 10 | 8 | 10 | 2 | 8,5 | 7,5 | 4 |
| Оценка по показателю «технические характеристики» (Средний балл — 7,1) | 1,4 | 1,12 | 1,4 | 0,28 | 1,19 | 1,05 | 0,56 |
Источник: CNews Analytics
По итогам анализа собранных данных наилучшие технические характеристики оказались у компаний «Билайн» и «Крок». Оба провайдера продемонстрировали в ходе тестирования высокие показатели производительности процессоров (188,065 и 189,376 на 1 Vcpu соответственно) и высокую пропускную способность сетей между виртуальными машинами — 18 и 18.5 Gbits/sec.
Организационные характеристики
Изученные организационные характеристики важны для потенциальных заказчиков, так как позволяют выстроить прозрачные правила работы с провайдером и комфортные для всех участников условия предоставления услуг. Обычно они фиксируются в соглашении об уровне сервиса (в нем же указаны частота и длительность регламентных работ, время доступности сервиса, методы оплаты и тарификации). Дополнительно эксперты CNews Analytics проанализировали качество коммерческих предложений на предмет ошибок и включения незапрашиваемых услуг, а также проверили наличие сертификатов международных институтов и ассоциаций, подтверждающих отказоустойчивость дата-центров, надежность эксплуатации, безопасность инфраструктуры.
Итоговые результаты по параметру «организационные характеристики»
| Провайдер | Билайн | Даталайн | Крок | Mail.Ru | МТС | Ростелеком | Софтлайн |
|---|---|---|---|---|---|---|---|
| Наличие ошибок в КП. Неточности расчета. | 10 | 10 | 10 | 10 | 5 | 1 | 5 |
| Перечень возможных систем и сервисов | 1 | 10 | 10 | 5 | 10 | 1 | 1 |
| Метод расчетов | 10 | 1 | 10 | 10 | 10 | 10 | 10 |
| Частота тарификации | 10 | 1 | 10 | 10 | 10 | 10 | 1 |
| Количество используемых ЦОД для предоставления услуги | 10 | 8 | 10 | 10 | 10 | 10 | 10 |
| Сертификация ЦОД | 10 | 10 | 10 | 10 | 10 | 10 | 1 |
| Наличие сертификата ISO 27001 | 10 | 10 | 10 | 10 | 2 | 10 | 1 |
| Наличие сертификата PCI DSS 3,2 | 10 | 10 | 10 | 10 | 5 | 10 | 1 |
| Доступность сервиса | 7 | 10 | 9 | 9 | 9 | 5 | 5 |
| Проведение на стороне провайдера регламентных работ | 1 | 3 | 10 | 3 | 10 | 3 | 1 |
| Наличие референсов от заказчиков уровня Enterprise | 10 | 10 | 10 | 8 | 8 | 10 | 1 |
| Суммарный балл | 8,1 | 7,5 | 9,9 | 8,6 | 8,1 | 7,3 | 3,4 |
| Оценка по показателю «организационные характеристики» (Средний балл — 7,6) | 1,07 | 1 | 1,31 | 1,14 | 1,07 | 0,96 | 0,45 |
Источник: CNews Analytics
В блоке организационных характеристик лидирует «Крок». Компания эксплуатирует сеть дата-центров уровня Tier III Operational Sustainability Gold, подтверждая отказоустойчивость и безопасность соответствующими сертификатами (в том числе PCI DSS и ISO/IEC 2 7001:2013), предлагает удобный способ оплаты (постоплата за услуги с почасовой тарификацией), и предоставляет полную информацию о сроках и продолжительности регламентных работ.
Лидеры по качеству
Итоговая оценка формировалось путем суммирования баллов по каждому из анализируемых метрик исследования: клиентоориентированность, технические характеристики, организационные характеристики. Полученный результат для определения положения каждого провайдера к другим участникам исследования делился на средний балл.
Сводная оценка по всем параметрам
| Клиентоориентированность | Технические характеристики | Организационные характеристики | Финальная оценка | |
|---|---|---|---|---|
| Крок | 1,30 | 1,40 | 1,31 | 1,32 |
| МТС | 0,86 | 1,19 | 1,07 | 1,06 |
| Ростелеком | 1,73 | 1,05 | 0,96 | 1,06 |
| Билайн | 0,60 | 1,40 | 1,07 | 1,06 |
| Mail.Ru | 1,21 | 0,28 | 1,14 | 1,04 |
| Даталайн | 0,69 | 1,12 | 1,00 | 0,98 |
| Софтлайн | 0,60 | 0,56 | 0,45 | 0,48 |
Источник: CNews Analytics
Как показал рейтинг, в России складывается костяк облачных провайдеров, обладающих в среднем одним и тем же уровнем клиентоориентированности, технической зрелости и выстроенными организационными процессами. При работе на высококонкурентном рынке это приводит к постоянной борьбе за клиента, что в конечном счете пользователям облачных услуг идет только на пользу. Они имеют возможность выбирать из достаточно большого списка провайдеров наиболее подходящих игроков по самым разным параметрам и при необходимости быстро их менять, обеспечивая более производительную работу корпоративных сервисов и снижение затрат на инфраструктуру и облачные услуги.
Полный текст статьи читайте на CNews
