Обучение по учебной программе «Учитель — ученик»01.07.2017 07:00

Аннотация

Мы предлагаем метод обучения по учебной программе «Учитель — ученик» (Teacher–Student Curriculum Learning, TSCL) — фреймворк для автоматического формирования учебной программы, в котором Ученик пытается освоить сложную задачу, а Учитель автоматически выбирает подзадачи из заданного набора для обучения Ученика. Мы описываем семейство алгоритмов Учителя, которые опираются на интуитивное предположение о том, что Ученик должен больше практиковаться в тех задачах, в которых он демонстрирует наиболее быстрый прогресс, то есть там, где крутизна кривой обучения наибольшая. Кроме того, алгоритмы Учителя решают проблему забывания, также выбирая задачи, в которых результаты Ученика ухудшаются. Мы демонстрируем, что TSCL не уступает или превосходит результаты тщательно разработанных вручную учебных программ на двух задачах: сложение десятичных чисел с помощью LSTM и навигация в Minecraft. Использование нашей автоматически сгенерированной учебной программы позволило решить лабиринт в Minecraft, который вообще не удавалось пройти при прямом обучении прохождению лабиринта, а скорость обучения оказалась на порядок выше по сравнению с равномерной выборкой подзадач.