[recovery mode] Google использует машинное обучение, чтобы повысить эффективность центров обработки данных
Интернет-гигант применяет машинное обучение и искусственный интеллект для повышения эффективности своих дата центров. Как сообщил Джо Кава, вице-президент направления ЦОД в Google, компания начала применять нейронные сети для анализа огромного количества данных, собираемых на серверах, и выдачи рекомендаций по усовершенствованию их работы.Фактически, Google построил компьютер, который знает о его дата-центрах даже больше, чем сами инженеры. Человеческий ресурс не списывается со счетов, но Кава считает, что использование нейронной сети даст Google возможность достичь новых горизонтов в эффективности работы серверных ферм благодаря выходу за рамки того, что могут увидеть и проанализировать инженеры.
Под управлением Google уже находится несколько наиболее энергоэффективных дата-центров на планете. Использование искусственного интеллекта даст Google возможность заглянуть в будущее и смоделировать тысячи схем работы своих ЦОДов.
На ранних этапах использования нейронные сети позволяли Google предсказать коэффициент PUE с точностью 99,6%. Рекомендации эти при всей кажущейся незначительности привели к существенной экономии средств, т.к. были применены к тысячам серверам.
Почему же Google обратился к машинному обучению и нейронным сетям? Главная причина кроется в том, что дата центры постоянно расширяются, что становится вызовом для Google, использующего сенсоры для сбора миллионов значений данных об инфраструктуре и потреблении энергии.
«В такой динамической среде, как ЦОД, человеку порой сложно увидеть все взаимосвязи переменных системы», — говорит Кава. — «Мы долго работаем над оптимизацией работы ЦОД. Все безусловно лучшие способы уже были внедрены, но мы не должны останавливаться!»
Знакомьтесь, мальчик-генийНейронная сеть Google создана Джимом Гао, инженером Google, которого коллеги прозвали «мальчик-гений» из-за способности анализировать большие объемы данных. Гао занимался анализом систем охлаждения, применяя принципы гидродинамики и данные мониторинга для создания 3D модели воздушных потоков внутри серверного зала.Гао считал, что можно создать модель, отслеживающую еще больший набор переменных, включая загруженность ИТ-оборудования, погодные условия, работу охладительных башен, водяных насосов и теплообменников, которые поддерживают нормальную температуру серверов Google.
«Компьютеры хороши тем, что могут видеть всю сокрытую в данных историю. Джим взял информацию, которую мы собираем ежедневно и прогнал ее через свою модель, чтобы прийти к пониманию сложных цепочек взаимодействия, к пониманию смысла, который могли не заметить работники, будучи простыми смертными» — пишет Кава в своем блоге. «Благодаря серии проб и ошибок, модель Джима теперь дает точность 99,6% в подсчете PUE. Это значит, он теперь может применять модели в поисках новых способов увеличить эффективность наших действий». Изображение ниже показывает корреляцию между предсказанным (черная кривая) и фактическим (жёлтая кривая) изменениями PUE.
Как это работает Гао начал работать над машинным обучением как над »20-процентным проектом». По традиции Google позволяет своим работникам тратить часть своего рабочего времени на разработку инноваций, помимо своих основных обязанностей. Гао не был специалистом в искусственном интеллекте. Чтобы изучить ключевые моменты в машинном обучении, Гао прошел курс в Стэнфорде у профессора Эндрю Ына.Нейросеть имитирует работу мозга человека, позволяя компьютеру понимать и «учить» задачи без необходимости их программирования в явном виде. Поисковик Google часто приводится как пример такого типа обучения, что также является одним из ключевых направлений исследований в компании. «Эта модель — не более чем набор вычислений дифференциальных уравнений — объяснил Кава. — «Но вы должны понимать математику. Модель начинается с изучения взаимодействия переменных».
Для начала Гао нужно было выявить ключевые факторы, влияющие на энергоэффективность в ЦОДах Google. Он сузил количество этих показателей до 19 и спроектировал нейронную сеть, машинную систему обучения, способную распознавать шаблоны в крупных массивах данных.
«Огромное количество комбинаций оборудования и настроек усложняет нахождение оптимальной эффективности», — пишет Гао в своем докладе. — «В работающем ЦОДе задачи могут быть реализованы множеством комбинаций оборудования (механического и электрического) и ПО (стратегии управления и установки). Проверить каждую комбинацию для повышения эффективности практически невозможно — есть временные ограничения, частые колебания нагрузки в работе ИТ-оборудования, погодные условия, а также необходимость поддерживать стабильную работу ЦОД.»
Работает на единственном сервере Что касается оборудования, то по заявлению Кавы, система не требует невероятных вычислительных мощностей и работает на одном сервере, а смогла бы работать даже на одном высококлассном настольном компьютере.Система была запущена на нескольких дата-центрах Google. Инструмент машинного обучения смог предложить несколько изменений, приведших к постепенному улучшению PUE, включая усовершенствование распределения нагрузки при увеличении мощности инфраструктуры, а также небольшие изменения температуры водяной системы охлаждения.
«Последние тесты в ЦОДах Google показали, что машинное обучение — эффективный метод использования существующих показаний датчиков для моделирования распределения энергии в ЦОД и ведет к существенной экономии средств», — пишет Гао.
Машины не берут верх Кава считает, что этот инструмент поможет Google моделировать и совершенствовать другие проекты в будущем. Но не стоит волноваться, дата-центры Google еще не скоро обзаведутся самосознанием. Сейчас компания интересуется автоматизацией, и даже недавно приобрела компании-разработчиков робототехники, но пока ни один из ЦОДов Google не работает исключительно на автоматизированном управлении».«Нам все еще нужны люди, чтобы делать правильные выводы обо всем этом», — говорит Кава. — «И я все еще хочу, чтобы наши инженеры ознакомились с этими рекомендациями».
Наибольшие бонусы использования нейросети проявятся в грядушие годы, при строительстве новой серверной площадки Google. «Я предвижу использование этого принципа в проектировании дата центров», — говорит Кава. — «Эту передовую технологию можно использовать и при проектировании, и при дальнейших усовершенствованиях. Думаю, мы найдем и другие способы применения».
Google поделился своим подходом к машинному обучению в статье Гао, надеясь, что те, кто также управляет мощными дата-центрами, смогут применить это на практике. «Этот механизм — не что-то особенное, что может применять только Google или только Джим Гао», — говорит Кава. — «Мне бы очень хотелось увидеть более широкое применение этой технологии. Я думаю, вся отрасль только выиграет от этого. Это восхитительный инструмент, позволяющий стать настолько эффективным, насколько это возможно».
