Методы состязательного обучения для полуконтролируемой классификации текста25.05.2016 07:00

Аннотация

Состязательное обучение представляет собой средство регуляризации алгоритмов обучения с учителем, в то время как виртуальное состязательное обучение позволяет распространить алгоритмы обучения с учителем на полуконтролируемый сценарий. Тем не менее, оба метода требуют внесения небольших возмущений в многочисленные элементы входного вектора, что неприемлемо для разреженных многомерных входных данных, таких как one-hot представления слов. Мы распространяем состязательное и виртуальное состязательное обучение на текстовую область, применяя возмущения к векторным представлениям слов (эмбеддингам) в рекуррентной нейронной сети, а не к исходному входу напрямую. Предложенный метод достигает результатов уровня современных разработок (state-of-the-art) на множестве базовых полуконтролируемых и чисто контролируемых задач. Мы приводим визуализации и анализ, показывающие, что качество полученных векторных представлений слов улучшилось, а модель стала менее склонной к переобучению в процессе тренировки. Код доступен по адресу этой ссылки⁠.