Нейросеть прочла первую книгу о Гарри Поттере и раскрыла секрет Дурслей
Алгоритм представляет собой систему для «осмысления» текстов компьютером, основанную на методике глубокого обучения (Deep learning). Она способна отвечать на вопросы по незнакомому тексту, выбирая правильный вариант из нескольких предложенных. Исследователи тренировали алгоритм на нескольких сотнях рассказов для детей, объединенных с парами вопрос-ответ для каждого текста. После завершения обучения программу проверяли на незнакомом тексте.
Глубокое обучение (англ. Deep learning) — набор алгоритмов машинного обучения, которые пытаются моделировать высокоуровневые абстракции в данных, используя архитектуры, состоящие из множества нелинейных трансформаций. Под термином «глубина» в данном случае понимается глубина графа вычислений модели — максимальная длина между входным и выходным узлами конкретной архитектуры. В случае, например, простой нейронной сети прямого распространения глубина соответствует количеству слоев сети.
В частности, при тестах на коротких фрагментах текста первой книги о Гарри Поттере программа безошибочно ответила на вопрос «Что было секретом Дурслей?» выбрав среди вариантов «дрели», «Поттеры», «кошки умеющие читать» и «их маленький сын» ответ «Поттеры». Кроме того, проанализировав сцену сразу после распределения Гарри (финальные фразы Распределяющей шляпы не вошли в отрывок) алгоритм правильно ответил на вопрос «В какой из факультетов шляпа распределила Гарри?».
Авторы отмечают, что ключевым в работе алгоритма является анализ текста на различных масштабах — от отдельных слов к словосочетаниям и предложениям. Для достижения такого эффекта программисты специальным образом настраивали нейросеть перед обучением. В результате этого, по словам разработчиков, процент правильных ответов оказался на 15 процентов выше, чем у других алгоритмов, основанных на глубоком обучении.
Система в первую очередь предназначена для автоматического анализа технических текстов, таких как инструкции по применению и патенты. Она может позволить компьютерам самостоятельно анализировать и «понимать» тексты, открывая новые пути для сбора данных.
Владимир Королёв
