OpenAI Microscope14.04.2020 07:00

Мы представляем OpenAI Microscope⁠ — коллекцию визуализаций каждого значимого слоя и нейрона восьми «модельных организмов» компьютерного зрения, которые часто изучаются в контексте интерпретируемости. Microscope упрощает анализ признаков, формирующихся внутри этих нейронных сетей, и мы надеемся, что это поможет исследовательскому сообществу в нашей общей работе по пониманию этих сложных систем.

Возможности современных нейронных сетей являются результатом взаимодействия тысяч нейронов (а иногда и десятков тысяч или более!). Чтобы понять их поведение, мы хотели бы иметь возможность быстро и детально исследовать взаимодействие этих нейронов и делиться своими наблюдениями. Это особенно актуально в среде для совместной работы. Например, один исследователь может предположить:

Модель InceptionV1 4c:447⁠ представляет собой детектор автомобилей, созданный на базе детектора колес (4b:373⁠) и детектора окон (4b:237⁠).

Когда кто-то выдвигает подобное утверждение, полезно, чтобы другие могли быстро изучить эти нейроны, оценить гипотезу и сделать новые открытия. В этом и заключается цель OpenAI Microscope.

Microscope систематически визуализирует каждый нейрон в нескольких часто изучаемых моделях компьютерного зрения и делает все эти нейроны доступными по прямой ссылке. Мы надеемся, что это поможет сообществу исследователей интерпретируемости несколькими способами:

1. Хотя эти модели и визуализации уже находятся в открытом доступе (мы помогаем поддерживать библиотеку lucid⁠, которая используется для создания всех визуализаций в Microscope), визуализация нейронов остается утомительным процессом. Microscope сокращает цикл обратной связи при исследовании нейронов с минут до секунд. Этот быстрый цикл обратной связи оказался крайне важен для обнаружения неожиданных особенностей, таких как детекторы высоких и низких частот, в рамках текущего проекта Circuits⁠.
2. Возможность давать прямые ссылки на модели и нейроны позволяет незамедлительно проверять и детально исследовать работы, авторы которых делают заявления об этих нейронах. Это также устраняет возможную путаницу относительно того, какая именно модель и какой нейрон обсуждаются (о какой из пяти версий InceptionV1 идет речь на этот раз?). Это невероятно полезно для совместной работы, особенно когда исследователи находятся в разных организациях.
3. Одно из прекрасных качеств интерпретируемости как направления в машинном обучении — ее доступность. По сравнению со многими другими областями, она требует относительно скромных вычислительных ресурсов. Тем не менее, систематическая визуализация нейронных сетей все равно может занимать сотни часов работы GPU. Мы надеемся, что, делясь нашими визуализациями, мы поможем сохранить высокую доступность исследований по интерпретируемости.

Подобно тому как биологи часто концентрируются на изучении нескольких «модельных организмов», Microscope сфокусирован на детальном изучении небольшого набора моделей. Наш первый релиз включает девять часто исследуемых моделей компьютерного зрения, а также несколько методов визуализации, которые показались нам особенно полезными при их изучении. В ближайшие месяцы мы планируем добавить новые модели и методы.

Мы с нетерпением ждем возможности увидеть, как сообщество будет использовать Microscope, и призываем вас повторно использовать эти материалы. В частности, мы считаем, что он обладает большим потенциалом для поддержки исследовательской инициативы Circuits⁠ — проекта по обратному проектированию нейронных сетей путем анализа отдельных нейронов и их связей — или аналогичных работ.