О количественном анализе генеративных моделей на основе декодера14.11.2016 08:00

Аннотация

За последние несколько лет был достигнут заметный прогресс в разработке генеративных моделей, создающих убедительные образцы изображений и других модальностей. Общим компонентом многих мощных генеративных моделей является сеть-декодер — параметрическая глубокая нейронная сеть, определяющая генеративное распределение. Примеры включают вариационные автоэнкодеры, генеративно-состязательные сети и сети сопоставления генеративных моментов. К сожалению, количественно оценить производительность таких моделей бывает сложно из-за сложности вычисления логарифма правдоподобия, а визуальный осмотр образцов может вводить в заблуждение. Мы предлагаем использовать метод отжига выборки по важности (Annealed Importance Sampling) для оценки логарифмов правдоподобия моделей на основе декодера и подтверждаем его точность с помощью двунаправленного метода Монте-Карло. Код для оценки доступен по адресу этой ссылке в формате https URL⁠. Используя данную технику, мы анализируем производительность моделей на основе декодера, эффективность существующих оценщиков логарифма правдоподобия, степень переобучения, а также то, в какой мере эти модели упускают важные моды распределения данных.