Системы ИИ научились создавать умные модели для ML: дайджест для начинающих
В ноябре участники исследовательского проекта Google Brain опубликовали результаты эксперимента AutoML. Им удалось создать систему, которая порождает новые ИИ-модели, используя метод обучения с подкреплением. Реализованный таким образом алгоритм уже справляется с задачей лучше решений, полностью написанных человеком.
В этой статье мы расскажем об особенностях работы системы AutoML, а также приведем подборку книг и курсов по машинному обучению, которые помогут поближе познакомиться с технологиями искусственного интеллекта.
/ Flickr / hackNY.org / CC
Машина обучает другую машину
Технология AutoML от Google была представлена в мае как система для автоматизации создания моделей машинного обучения. Уже тогда она могла проектировать небольшие нейронные сети, которые работали наравне с нейросетями, разработанными людьми.
Метод Google базируется на двух нейронных сетях, состоящих в постоянном контакте, — контролирующей и контролируемой (дочерней). Дочерняя система обучается на основе обратной связи от контролирующей, которая оценивает эффективность прохождения тестов. Этот процесс повторяется тысячи раз, пока не будет достигнут желаемый результат. В эксперименте Google нейронная сеть занималась распознаванием объектов на потоковом видео: людей, автомобилей, светофоров и так далее.
AutoML от Google не первая система такого рода. Однако уникальность последней разработки проекта Brain заключается в том, что она не просто дорабатывает уже существующие модели, а сама их выбирает и модифицирует.
Зачем нужна технология AutoML
Разработка систем машинного обучения с нуля — ресурсоемкая задача. AutoML призвана ускорить разработку новых моделей МО. Кроме того, она снижает порог вхождения в индустрию для будущих поколений исследователей.
Джефф Дин (Jeff Dean), глава Google Brain, сказал, что технология поможет компаниям создавать системы ИИ, даже если им не хватает обширного опыта. Он также назвал автоматизированное машинное обучение одним из самых перспективных направлений для исследований.
По прогнозу Gartner, к 2020 году будет создано 2,3 млн новых рабочих мест в области искусственного интеллекта и машинного обучения. Развитие разработок на основе нейронных сетей сделало индустрию конкурентной, и крупнейшие технологические компании готовы платить высокие зарплаты.
Google и Facebook создают специальные курсы по методам машинного обучения, чтобы помогать развиваться своим сотрудникам и привлекать новых. Разработкой курсов, подготовкой методологий и написанием книг занимаются и крупные мировые университеты.
Поэтому далее, мы собрали полезные материалы и ресурсы, которые познакомят вас с технологиями машинного обучения. Подборка составлена на основании рекомендаций резидентов Hacker News и участников профильных тредов на Quora, Reddit и Хабрахабре.
В неё также вошли наши собственные материалы по теме.
/ Flickr / bradleypjohnson / CC
Книги
«Прикладной регрессионный анализ», Норман Дрейпер (Norman Draper) и др.
Книга с основами регрессионного анализа. В ней много примеров, упражнений и тестов для самопроверки.
«Линейная алгебра и ее применения», Гилберт Стренг (Gilbert Strang)
Алгоритмы машинного обучения строятся на принципах линейной алгебры. И хотя эта книга вышла в 1980 году, ее ценность — объяснение практического применения материала — сохранилась по сей день.
«Искусственный интеллект: современный подход», Питер Норвиг (Peter Norvig)
Этот учебник по работе с системам ИИ — используется в тысяче университетов по всему миру. По мнению резидентов HN, работа Норвига — лучший способ начать знакомство с этой темой.
«Hands-on Machine Learning», Орлен Герон (Aurelien Geron)
Хороший старт для будущих специалистов в области ML, собирающихся работать с библиотекой TensorFlow. Автор — бывший сотрудник Google, который отвечал за решения по классификации видео на YouTube.
«Deep Learning Book», Иен Гудфеллоу (Ian Goodfellow) др.
Книга призвана помочь студентам и специалистам в области машинного обучения. Ее рекомендует команда Google Brain. По словам Илона Маска, эта работа является «единственной всеобъемлющей книгой по этому вопросу».
«Верховный алгоритм», Педро Домингос (Pedro Domingos)
Материал находится на стыке философии и экспертной области систем ИИ. Её автор — обладатель множества наград за достижения в развитии направления ИИ, в том числе премии Data Science Innovation Award.
«Машинное обучение. Учебник», Петер Флах (Peter Flach)
Автор — профессор в области систем искусственного интеллекта в Бристольском университете. Он погружает читателя в практическую составляющую машинного обучения с первых страниц, постепенно повышая сложность. В книге множество примеров с иллюстрациями.
«Нейронные сети и глубокое обучение», Майкл Нильсен (Michael Nielsen)
Книга обучает читателя принципам разработки нейронных сетей на конкретных примерах. Нильсен убежден, что этот подход лучше, чем простое перечисление длинного списка концепций. Её рекомендует команда Google Brain.
Курсы и руководства
Курсы Эндрю Ына по машинному обучению
Эндрю Ын тесно связан с успехом проекта Google Brain. Сейчас он работает в Baidu и считается одним из самых авторитетных специалистов в области машинного обучения. Студенты получают знания об эффективных алгоритмах ML и опыт их практического применения.
Основы машинного обучения
Этот комплекс от Вашингтонского университета является еще одним часто рекомендуемым курсом для начинающих. Он достаточно быстро знакомит с самыми популярными методами машинного обучения.
Прикладной курс глубокого обучения fast.ai
Цель проекта — сокращение недостатка в специалистах по ИИ, а также создание автоматизированных решений, как это делают в Google Brain. Один из авторов курса — Джереми Ховард (Jeremy Howard), предприниматель, бизнес-стратег, разработчик и педагог. Второй автор — Рэйчел Томас (Rachel Thomas), кандидат наук по математике. Forbes назвал её одной из »20 невероятных женщин, продвигающих исследования в области ИИ».
Designing Artificial Intelligence for Games
О разработке искусственного интеллекта для игровой индустрии. В статьях рассматриваются важные концепции ИИ и способы их оптимизации для работы на современных многоядерных процессорах.
Creative Applications of Deep Learning
Курс освещает ключевые компоненты глубокого обучения. Основное внимание отводится практическому применению алгоритмов в разработке приложений.
Видео и лекции
Сборник лекций о сверточных нейронных сетях для визуального распознавания
Серия видео на тематическом YouTube-канале Стэнфордсокго университета, посвященная технологиям машинного зрения. Сборник лекций уделяет особое внимание изучению моделей для таких задач, как классификация изображений.
CS188 — введение в ИИ
Собрание бесплатных материалов от Калифорнийского университета в Беркли. В числе спикеров Дэн Клэй (Dan Clay), американский ученый в области обработки естественного языка и доцент по информатике в Беркли. Имеются домашние задания.
Practical Deep Learning For Coders
Курс лекций на базе fast.ai, Подготовлен упомянутым выше Джереми Ховардом.
Practical Machine Learning Tutorial with Python
Серия практических советов по машинному обучению. С примерами и кодом на Python.
3Blue1Brown
Этот YouTube-канал может стать хорошим началом для погружения в машинное обучение с нуля. У канала уже 500 тыс. подписчиков, и число почитателей оригинальных уроков растет.
Machine Learning Recipes with Josh Gordon
Советы по машинному обучению от разработчика Google, который выступает техническим евангелистом библиотеки TensorFlow в корпорации.
Cтатьи
4 тренда облачной безопасности
Рассмотрим мировой опыт защиты данных в облаке. Среди развивающихся направлений в этой области: шифрование, мониторинг инфраструктуры, автоматизация и машинное обучение.
Big Data: большие возможности или большой обман
В этом материале выясняем, что важного видит индустрия в Big Data. Также поговорим о том, в каких сферах они успешно применяются и как появились.
Искусственный интеллект: что о нем думают ученые
Рассказываем о мифах про работу ИИ, с которыми регулярно сталкиваются ученые.
Как сейчас используют нейросети: от научных проектов до развлекательных сервисов
Статья о том, какое применение находит машинное обучение уже сегодня: о рекомендательных алгоритмах YouTube, нейронных сетях в физике и медицине.
Истинная реализация нейросети с нуля на языке программирования C#
Как говорит сам автор, пост предназначен для тех, кто знаком с математическими принципами работы нейронных сетей. Для лучшего усвоения материала он советует сперва изучить дополнительные статьи (эту и эту).
Введение в нейросети
Подробности создания нейросети с нуля. С примерами, графиками, схемами.
