Машинное преподавание: как экспертиза людей делает ИИ еще сильнее
Автор — Дженнифер Лэнгстон
Марк Хаммонд, генеральный директор подразделения Business AI компании Microsoft и бывший CEO Bonsai, разработал платформу, использующую технологии машинного преподавания, чтобы помочь алгоритмам обучения с подкреплением решать проблемы в реальной жизни. Фото Дэна ДеЛонга для Microsoft.
Представьте, что вам нужно научить пятилетнего ребенка отбивать мяч в бейсболе. Вы даете ему биту и мяч, а затем просите миллион раз бросать мяч в воздух разными способами, надеясь, что он в итоге поймет, как эти два предмета связаны. Разумеется, большинство людей не станут так делать.
И тем не менее, сейчас во многом именно так мы организуем машинное обучение: мы показываем машинам множество данных и ожидаем, что они выучат ассоциации или найдут закономерности самостоятельно.
Для большинства наиболее распространенных сегодня вариантов использования ИИ, таких как распознавание текста или изображений, это работает отлично.
Но люди хотят использовать ИИ в бо́льшем количестве сценариев, поэтому научные специалисты и разработчики Microsoft выработали новый подход под названием machine teaching, что можно перевести как «машинное преподавание». В его основе лежит умение людей разбивать проблему на более простые задачи и давать моделям машинного обучения важные подсказки о том, как быстрее найти решение. Это как учить ребенка сначала просто держать мяч, затем освоить подачу снизу и только после этого перейти к крученым.
«Применительно к людям это звучит очень естественно и интуитивно, но когда мы переходим к машинному обучению, у всех подход такой: «Давайте сразу бросать системе крученые», — говорит генеральный директор подразделения Business AI компании Microsoft. — Машинное преподавание — это набор инструментов, который поможет вам прекратить так делать».
Машинное преподавание берет за основу знания, получаемые от людей, а не только извлекает их из данных. Человек, который понимает задачу, — идет ли речь о том, как решить какое подразделение компании должно получить входящее письмо или как автоматически расположить ветровые турбины, чтобы генерировать больше энергии, — сначала разделит проблему на меньшие части. Затем он предоставит ограниченный набор примеров или план действий, чтобы помочь алгоритмам машинного обучения решить задачу.
Машинное преподавание особенно полезно в сценариях обучения с подкреплением, когда маркированных учебных данных для алгоритмов машинного обучения очень мало или нет совсем, потому что отрасль или потребности компании очень специфичны. В сложных и неоднозначных сценариях обучения — когда алгоритмы не могут определить, какое из миллионов возможных действий они должны предпринять, чтобы справиться с задачей в физическом мире, — машинное преподавание может существенно сократить время, которое требуется интеллектуальному агенту для поиска решения. Это также часть более масштабной цели — расширить круг людей, использующих ИИ более совершенным способом. Машинное преподавание позволяет разработчикам или профильным экспертам, не располагающим достаточным опытом в сфере ИИ, таким как юристы, бухгалтеры, инженеры, медсестры или операторы погрузчика, внедрять важные абстрактные концепты в интеллектуальные системы, которые затем выполняют механики машинного обучения в фоновом режиме.
Исследователи Microsoft начали изучать принципы машинного преподавания около десяти лет назад, и эти концепции теперь внедряются при разработке продуктов, помогающих компаниям создавать всё, от ботов интеллектуальной службы поддержки до автономных систем.
«Даже самому умному ИИ без всякой помощи будет непросто понять, как выполнять наиболее сложные задачи, так часто встречающиеся в реальной жизни. Поэтому необходимо, чтобы системы ИИ под руководством людей узнавали то, что мы уже знаем, — сказал Гурдип Палл, вице-президент по Business AI в Microsoft. — Позволить неэкспертам использовать полностью готовый к употреблению ИИ для выполнения сложных задач — это настоящая золотая жила для машинного преподавания».
Сегодня, если мы пытаемся научить машину обучающему алгоритму, позволяющему узнать, что такое стол, мы легко найдем набор данных с фотографиями тщательно маркированных столов, стульев и ламп. Мы предоставим алгоритму огромное количество маркированных примеров, и он научится узнавать характеристики стола. Но если вам приходилось учить человека тому, как узнать стол, вы, наверное, начнете с объяснения, что у него четыре ножки и плоская крыша. Увидев, что человек также добавляет в эту категорию стулья, вы продолжите объяснение и сообщите, что у стула есть спинка, а у стола — нет. Эти абстракции и цепочка обратной связи — ключ к тому, как люди учатся, и они также могут дополнять традиционные подходы к машинному обучению.
«Если вы можете чему-то научить другого человека, вы также можете обучать машину, используя аналогичный язык», — говорит Патрис Симард, выдающийся инженер Microsoft, один из первых специалистов подразделения Microsoft Research, начавший работать над технологией машинного преподавания. Его команда перешла в группу Experiences and Devices, чтобы продолжить эту работу и реализовать дальнейшую интеграцию машинного преподавания с существующими предложениями с виртуальным собеседником.
Исследователи Microsoft Патрис Симард, Алисия Эдельман Пелтон и Рихам Мансур (слева направо) работают над внедрением технологии машинного преподавания в продукты Microsoft. Фото Дэна ДеЛонга для Microsoft.
Миллионы потенциальных пользователей ИИ
Симард задумался о новой парадигме для создания ИИ-систем, когда заметил, что почти все доклады на конференции по машинному обучению касаются совершенствования работы алгоритмов, основанных на тщательно отобранных критериях. Но он понимал, что в реальном мире преподавание — настолько же важный или даже самый важный компонент познания, особенно для простых задач в условиях ограниченного объема доступных данных.
Если хотите научить систему ИИ выбирать лучший автомобиль, но у вас есть лишь несколько примеров, маркированных как «хороший» или «плохой», основываясь на этой ограниченной информации, она может предположить, что определяющая характеристика хорошего автомобиля — это цифра »2» на четвертом месте в номере. Но указав системе ИИ на те же характеристики, которые вы бы попросили учитывать вашего ребенка-подростка — расход бензина, рейтинги безопасности, результаты краш-тестов, цена, — вы поможете алгоритмам правильно отличать хорошие автомобили от плохих, несмотря на ограниченное количество маркированных примеров.
Машинное преподавание улучшает модели в сценариях обучения с подкреплением, выделяя высокоуровневые значимые характеристики. Как и в программировании, искусство машинного преподавания состоит в разделении основной задачи на более мелкие элементы. Если необходимых характеристик не существует, их можно создать, используя субмодели низшего уровня, достаточно простые, чтобы их можно было изучить на нескольких примерах. Если система постоянно делает одну и ту же ошибку, эту ошибку можно исключить, добавив дополнительные характеристики или примеры.
Один из первых продуктов Microsoft с моделями машинного преподавания — инструмент распознавания речи в Azure Cognitive Services, который идентифицирует замысел и ключевые концепции для коротких текстов. Он используется различными компаниями, от UPS до Progressive Insurance и Telefonica, для разработки ботов интеллектуальной службы поддержки.
«Чтобы понять, касается вопрос пользователя счетов или тарифного плана, вам не нужно давать нам все варианты вопросов. Достаточно предоставить четыре-пять вариантов, а также важные характеристики и ключевые слова, и функция распознавания речи позаботится о механизмах, которые это обеспечат», — говорит Рихам Мансур, старший менеджер по разработке программного обеспечения для распознавания речи.
Исследователи Microsoft изучают возможности применения концептов машинного преподавания для решения более сложных проблем, таких как классификация более длинных документов, электронных писем и даже изображений. Они также работают над тем, чтобы сделать процесс преподавания более интуитивным, — например, предлагая пользователям выбрать, какие характеристики могут быть важны для решения задачи.
«Представьте, что компания хочет использовать ИИ, чтобы проверить все документы и электронные письма за прошедший год и выяснить, сколько коммерческих предложений было разослано клиентам и по скольким продажа состоялась», — говорит Алисия Эдельман Пелтон, старший программный менеджер Группы машинного преподавания Microsoft.
В первую очередь система должна знать, как отличить коммерческое предложение от контракта или выставленного счета. Зачастую маркированных учебных данных для таких заданий не существует, особенно если каждый специалист отдела продаж решает этот вопрос по-своему.
Если бы система использовала традиционные техники машинного обучения, компании было бы нужно выводить этот процесс на аутсорс, отправляя тысячи примеров документов и детальных инструкций, чтобы целая армия людей попыталась корректно их промаркировать, — процесс, для которого могут потребоваться многие месяцы тщательной работы: удаление ошибок и поиск релевантных примеров. Им также понадобятся эксперты по машинному обучению, которые будут очень востребованы, — они помогут построить модель машинного обучения. И если новые специалисты по продажам начнут использовать другие форматы, применению которых система не была обучена, модель запутается и перестанет успешно работать.
«Напротив, — говорит Пелтон, — машинное преподавание Microsoft может использовать человек внутри компании, чтобы выделить определяющие характеристики и структуры, чаще всего встречающиеся в коммерческом предложении: это то, что отправляет специалист по продажам, там указано имя покупателя вне компании, есть слова «цена» или «срок поставки», «продукт», «количество», «условия оплаты».
Оно переводит знания этого человека на язык, который машина может понять и, используя предварительно выбранный алгоритм машинного обучения, выполнить задачу. Это поможет заказчикам создавать кастомизированные решения на базе ИИ за секунды, используя знания, которые уже есть в их организации», — говорит Пелтон.
Пелтон отмечает, что огромное количество людей в мире «понимает свой бизнес и может описать важные концепты — например, юрист, который говорит: «О, я знаю, как выглядит контракт и как выглядит повестка, и я могу сказать, в чем заключается разница между ними».
Корпоративный вице-президент подразделения Microsoft Business AI Гурдип Палл на конференции рассказывает об автономных системных решениях, использующих машинное преподавание. Фото Дэна ДеЛонга для Microsoft.
Делаем сложные проблемы решаемыми
Более десяти лет назад Хаммонд работал системным программистом в нейробиологической лаборатории в Йеле, и он заметил, что ученые используют пошаговый подход для обучения животных выполнению задач, необходимых для исследований. Это стало для него настоящим откровением: он решил использовать ту же методику для обучения машин.
В итоге он создал компанию Bonsai, приобретенную Microsoft в прошлом году. Она сочетает технологии машинного преподавания с глубоким обучением с подкреплением и симуляцией, чтобы помочь компаниям разрабатывать «мозги», управляющие автономными системами в приложениях, от роботизации и производства до энергетики и домоуправления. Платформа использует язык программирования Inkling, чтобы помочь разработчикам и даже профильным экспертам разложить проблемы на составные части и написать программы для ИИ.
«Глубокое обучение с подкреплением, ветвь ИИ, в которой алгоритмы обучаются методом проб и ошибок, основанном на системе поощрений, уже успешно обыгрывает людей в видеоигры. Но эти модели пока не могут научиться решать более сложные промышленные задачи в реальной жизни», — говорит Хаммонд.
Например, представьте, что производственная компания хочет обучить интеллектуального агента автономно калибровать важное оборудование, работа которого может быть нарушена при перепадах влажности или температуры, или же после длительного использования. На языке Inkling человек создает «план урока», в котором выделяет релевантную информацию, необходимую для выполнения задания и контроля правильности работы системы.
Вооруженная этой информацией из своего компонента машинного преподавания система Bonsai выберет лучшую модель обучения с подкреплением и создаст «мозг» на базе ИИ, чтобы снизить затратное время простоя путем автономной калибровки оборудования. Он протестирует различные варианты действий в режиме моделирования и будет вознагражден или наказан, в зависимости от того, как быстро и точно выполнит калибровку.
«Сообщая этому «мозгу» на базе ИИ, на чем важно сфокусироваться прежде всего, мы можем сэкономить множество бесплодных и затратных по времени попыток, когда ИИ в процессе симуляции пытается понять, что работает, а что нет», — говорит Хаммонд.
«Причина, по которой машинное преподавание является критически важным, — в том, что если только нативно использовать обучение с подкреплением, не давая ему никакой информации по решению проблемы, система будет проводить произвольные исследования, и велика вероятность, что результат достигнут не будет, — говорит Хаммонд. — Машинное преподавание помогает разрешить те проблемы, которые без него останутся нерешаемыми».
Tags: machine teaching, ИИ, искусственный интеллект
