Девять избранных статей с конференции NeurIPS 2021. Часть 2
Мы продолжаем разбирать статьи с конференции NeurIPS 2021, крупнейшей конференции по машинному обучению. Первая часть разбора была посвящена около-рекомендательным статьям. Во второй части мы собрали работы, не объединенные общей тематикой: они просто показались нам интересными.
Из этой статьи вы узнаете:
Какие модели помогут оценить не только значение целевой переменной, но и вычислить доверительный интервал на него (читать).
Как модифицировать BERT, чтобы разделить музыкальный трек на отдельные дорожки, соответствующие разным музыкальным инструментам (читать).
Какая метрика позволит оценить качество сгенерированных машиной текстов (читать).
Как заставить робота исследовать новые стратегии поведения (читать).
Conformal Prediction using Conditional Histograms
ссылка
Автор разбора: Коля Анохин, ведущий специалист по машинному обучению в ОК (@anokhinn)
В некоторых задачах важно уметь оценивать интервал, в котором находится целевая переменная Y для данных значений признаков X. Допустим, мы разрабатываем систему, которая анализирует резюме и предсказывает, какую зарплату стоит предложить соискателю. Рекрутеру будет удобнее, если система выдаст «зарплатную вилку», а не точечную оценку. Если предложить меньше нижней границы, кандидат даже не станет общаться. Верхняя граница позволяет понять, до какой зарплаты можно торговаться.
Формально требуется оценить интервал C (X), такой что
Эту задачу можно решить, заложив предположения о распределении P (Y | X) в модель. Когда такие предположения сделать не получается, на помощь приходит метод conformal prediction.
В статье применяется вариация split conformal prediction, в которой обучение состоит из трех шагов:
Делим данные на две части: обучающую и калибровочную.
На обучающей выборке тренируем базовый алгоритм, который может строить какие-то интервалы для Y.
Используем калибровочную выборку, чтобы научиться преобразовывать эти интервалы так, чтобы новые интервалы удовлетворяли условию (1).
В качестве бейзлайна авторы рассматривают Conformalized Quantile Regression (CQR). В этом методе базовым алгоритмом служат две квантильные регресии: они предсказывают верхнюю и нижнюю границы интервала на Y. Интервал, определенный этими границами, не гарантирует выполнение условия (1), особенно когда используются сложные модели (нейросети). Поэтому проводится дополнительная калибровка: выучивается дельта, на которую нужно расширить базовый интервал, чтобы в среднем выполнялось условие (1).
В статье предлагается новый метод Conformal Histogram Regression (CHR). Множество возможных значений Y разбивается на последовательные интервалы i1, …iN. Базовый алгоритм обучается предсказывать вероятность P (Y ∈ ij | X) для каждого интервала — таким образом на выходе получается гистограмма вероятности Y для данного X. С помощью этой гистограммы можно вычислить минимальную последовательность интервалов, такую чтобы Y попало в один из них с вероятностью не меньше
