Нормализация весов: простая репараметризация для ускорения обучения глубоких нейронных сетей25.02.2016 08:00

Аннотация

Мы представляем нормализацию весов: репараметризацию весовых векторов в нейронной сети, которая отделяет длину этих векторов от их направления. Подобная репараметризация весов улучшает обусловленность оптимизационной задачи и ускоряет сходимость стохастического градиентного спуска. Наша репараметризация вдохновлена нормализацией по батчам (batch normalization), но не вводит никаких зависимостей между примерами в мини-батче. Это означает, что наш метод также может успешно применяться к рекуррентным моделям, таким как LSTM, и к чувствительным к шуму приложениям, например глубокому скрепленному обучению (reinforcement learning) или генеративным моделям, для которых нормализация по батчам подходит меньше. Хотя наш метод намного проще, он все же обеспечивает большую часть ускорения полноценной нормализации по батчам. Кроме того, вычислительные затраты нашего метода ниже, что позволяет выполнять больше шагов оптимизации за то же время. Мы демонстрируем полезность нашего метода на задачах распознавания изображений с учителем, генеративного моделирования и глубокого обучения с подкреплением.