Самообучающийся ИИ научился адаптироваться к новым задачам без переобучения
Область машинного обучения традиционно делится на две основные категории: обучение с учителем и обучение без учителя. Первое требует вручную размеченных данных, где каждому входящему сигналу соответствует конкретный выход, что позволяет алгоритмам четко следовать заданным инструкциям. Обучение без учителя, напротив, использует только необработанные данные, предоставляя алгоритмам свободу находить закономерности самостоятельно.
Однако в последние годы появился новый подход, известный как самообучение (self-supervised learning, SSL), который стирает границы между этими методами. В отличие от классического обучения с учителем, которое зависит от разметки данных человеком, SSL использует алгоритмы для автоматического создания меток из необработанных данных, что значительно расширяет его возможности.
Недавно команда исследователей из Массачусетского технологического института и Технического университета Мюнхена представила новый метод под названием «Контекстное самообучение» (ContextSSL), который преодолевает ограничения существующих подходов. Вместо того чтобы опираться на заранее заданные преобразования данных, ContextSSL адаптирует представления к разным задачам, учитывая контекст — обобщенное представление о задаче или окружающей среде.
Один из основных вызовов в SSL заключается в необходимости использования стандартных преобразований данных, таких как изменение цвета, ориентации, текстуры или обрезки изображений. Эти преобразования создают пары данных — похожие (положительные) и разные (отрицательные) — для обучения модели. При этом алгоритм либо становится устойчивым к изменениям (инвариантность), либо сохраняет чувствительность к ним (эквивариантность).
Но такие подходы вводят жесткие предположения о свойствах данных, которые далеко не универсальны для всех задач. Новый метод предлагает более гибкий путь, позволяя алгоритмам выбирать нужное поведение в зависимости от конкретной задачи.
Основная идея ContextSSL заключается в использовании контекста, вдохновленного мировыми моделями — представлениями об окружающей среде, которые фиксируют ее структуру и динамику. Контекст кодируется с помощью трансформеров в виде последовательностей данных, описывающих прошлый опыт: состояние-действие-следующее состояние.
Этот подход позволяет модели динамически адаптировать свои представления, делая их инвариантными или эквивариантными в зависимости от группы преобразований, описанной в контексте. «Наша цель — обучать такие представления, которые становятся более эквивариантными к преобразованиям с увеличением контекста,» — объясняет автор работы Шарут Гупта.
Метод ContextSSL продемонстрировал значительное улучшение производительности на различных наборах данных, включая компьютерное зрение (CIFAR-10 и 3DIEBench) и медицинскую аналитику (MIMIC-III).
На медицинских данных исследователи показали, что подход может эффективно обучаться с учетом таких особенностей, как пол пациента. Для задач, где важна эквивариантность, например, при расчете дозировок лекарств, контекст улучшал точность медицинских предсказаний. А в задачах, требующих инвариантности, например, при прогнозировании продолжительности госпитализации, ContextSSL обеспечивал более справедливые результаты, измеряемые метриками равенства возможностей.
Контекстное самообучение открывает новые горизонты, позволяя обучать универсальные модели, которые можно применять к широкому спектру задач без необходимости дообучения. Этот подход, совмещающий гибкость и эффективность, может стать стандартом для разработки алгоритмов будущего, способных подстраиваться под разные задачи, как это делает человек.
Ранее стало известно, что OpenAI создаст умных роботов.
