PixelCNN++: Улучшение PixelCNN с помощью дискретизированного логистического смешанного правдоподобия и других модификаций19.01.2017 08:00

Аннотация

PixelCNN — это недавно предложенный класс мощных генеративных моделей с вычислимым правдоподобием. Здесь мы обсуждаем нашу реализацию PixelCNN, которую мы делаем доступной по адресу этой ссылке⁠. Наша реализация содержит ряд модификаций исходной модели, которые одновременно упрощают ее структуру и улучшают производительность. 1) Мы используем дискретизированное логистическое смешанное правдоподобие для пикселей вместо 256-классового softmax, что, как мы обнаружили, ускоряет обучение. 2) Мы производим обуславливание по целым пикселям, а не по R/G/B субпикселям, что упрощает структуру модели. 3) Мы используем уменьшение разрешения (downsampling) для эффективного захвата структуры на разных уровнях детализации. 4) Мы внедряем дополнительные короткие соединения (short-cut connections) для дальнейшего ускорения оптимизации. 5) Мы регуляризируем модель с помощью dropout. Наконец, мы представляем результаты лог-правдоподобия уровня современного технического развития (state-of-the-art) на CIFAR-10, чтобы продемонстрировать полезность этих модификаций.