Вариационный с потерями автоэнкодер08.11.2016 08:00

Аннотация

Обучение представлений направлено на выделение определенных аспектов наблюдаемых данных в выученном представлении, пригодном для последующих задач, таких как классификация. Например, хорошим представлением для двумерных изображений может быть такое, которое описывает только глобальную структуру и отбрасывает информацию о детальной текстуре. В этой статье мы представляем простой, но принципиальный метод обучения таких глобальных представлений путем объединения вариационного автоэнкодера (VAE) с нейронными авторегрессионными моделями, такими как RNN, MADE и PixelRNN/CNN. Предложенная нами модель VAE позволяет управлять тем, что может изучать глобальный латентный код, и, соответствующим образом спроектировав архитектуру, мы можем заставить глобальный латентный код отбрасывать нерелевантную информацию, такую как текстура на двумерных изображениях, и, следовательно, VAE «автокодирует» данные только с потерями. Кроме того, задействуя авторегрессионные модели как в качестве априорного распределения p (z), так и в качестве распределения декодирования p (x|z), мы можем значительно улучшить производительность генеративного моделирования VAE, достигнув новых передовых результатов в задачах оценки плотности набора данных MNIST, OMNIGLOT и Caltech-101 Silhouettes.