Сервис Microsoft Teams упал из-за просроченного сертификата
3 февраля 2020 года сервис для совместной работы Microsoft Teams ушёл в офлайн в районе 5:30 ET (16:30 мск). Microsoft Teams позиционируется как конкурент Slack. Тысячи крупных и мелких компаний используют его для коммуникации своих сотрудников. Но в понедельник утром они не смогли подключиться, получая ошибки HTTPS-соединения.
Расследование показало, что причиной падения сервиса стал просроченный сертификат.
We’ve determined that an authentication certificate has expired causing, users to have issues using the service. We’re developing a fix to apply a new certificate to the service which will remediate impact. Further updates can be found under TM202916 in the admin center.
— Microsoft 365 Status (@MSFT365Status) February 3, 2020
«Мы разрабатываем исправление, чтобы установить новый сертификат в службе, которая исправит последствия. Дополнительные обновления опубликованы в статье TM202916 в центре администрирования», — сказано в официальном твиттере Microsoft 365 Status, сообщение опубликовано в 17:19 мск.
Примерно через час Microsoft сообщила о том, что сертификат создан, и компания начала его внедрение:
We’ve initiated the deployment of the updated certificate and are monitoring service health as the fix progresses. Additional information can be found under TM202916 in the admin center.
— Microsoft 365 Status (@MSFT365Status) February 3, 2020
Вместе с сертификатом внедряется служба мониторинга.
Наконец, через пять часов Microsoft сообщила об успешной установке сертификата и завершении всех работ по восстановлению работы сервиса. Это произошло сегодня, 4 февраля 2020 года, в 0:27 мск.
We successfully deployed the fix to the affected infrastructure and conducted additional remediation actions to resolve the issue. More information can be found under TM202916.
— Microsoft 365 Status (@MSFT365Status) February 3, 2020
По информации пользователей, служба Microsoft Teams не работала около двух часов. На форуме Reddit более 400 комментариев на эту тему.
Два месяца назад Microsoft объявила, что суточная аудитория Microsoft Teams достигла 20 млн пользователей и превзошла основного конкурента Slack, который в конце октября 2019 года рапортовал о суточной аудитории 12 млн. С июля по ноябрь прошлого года аудитория Microsoft Teams выросла на 50%. Многие аналитики считают, что этот продукт Microsoft станет очень популярным.
Microsoft сама разрабатывает и продаёт инструменты для мониторинга компьютерной инфраструктуры, в том числе отслеживания срока действия сертификатов и автоматического обновления. Однако это уже не первый случай, когда у компании возникают проблемы с SSL на облачной инфраструктуре: «Это значит, что нужно более внимательно отнестись к вопросам как автоматизации, так и процедур контроля», — говорит Хольгер Мюллер (Holger Mueller), аналитик Constellation Research. Похожая ситуация произошла с облачным сервисом Windows Azure, у которого сертификат истёк 22 февраля 2013 года. В результате облачное хранилище было недоступно, проблемы также наблюдались с работой сервисов Xbox Music и Video.
