FFJORD: Свободные непрерывные динамические системы для масштабируемых обратимых генеративных моделей02.10.2018 07:00

Аннотация

Перспективный класс генеративных моделей отображает точки из простого распределения в сложное с помощью обратимой нейронной сети. Обучение таких моделей на основе функции правдоподобия требует ограничения их архитектур для обеспечения простоты вычисления определителей Якоби. Альтернативно можно использовать след матрицы Якоби, если преобразование задается обыкновенным дифференциальным уравнением. В этой статье мы используем оценку следа Хатчинсона для получения масштабируемой несмещенной оценки логарифма плотности. Результатом является непрерывно-временная обратимая генеративная модель с несмещенной оценкой плотности и однопроходной выборкой, которая при этом допускает неограниченные архитектуры нейронных сетей. Мы демонстрируем наш подход на задачах оценки многомерной плотности, генерации изображений и вариационного выводов, достигая уровня современных методов (state-of-the-art) среди подходов с точным правдоподобием и эффективной выборкой.