Причинно-следственный анализ в машинном обучении: итоги 2021 г
Недавно мы поговорили о том, что такое causal inference или причинно-следственный анализ, и почему он стал так важен для развития машинного обучения. А в этой статье — под катом — хотелось бы рассказать о трендах в развитии Causal Inference в ML в 2021 г.
Causal Inference в ML: итоги 2021 г.
Сначала поговорим обобщенно, а затем детальнее раскроем наиболее интересные пункты. Для тех, кто предпочитает формат видео, на youtube канале ods.ai есть видео с трансляции Data Елки 2021 с подробным рассказом об итогах года. Вот ссылка на начало рассказа про итоги года в Causal Inference.
В целом, итоги года в CI можно представить в двух больших разделах — теоретическом и прикладном.
Теория
Закрепление высокой актуальности темы в ML. Нобелевская премия по экономике была выдана за развитие методов CI, крупнейшие конференции по ML провели воркшопы (NeurIPS, ICML) по вопросам CI для ML. Causal Data Science Meeting, направленный на коллаборацию экспертов-теоретиков в области CI с практиками из бизнеса, экспериментально проведенный в 2020 г., стал крупным движением с ежегодной конференцией.
Знаковая статья Judea Pearl о роли CI для ML. Radical empiricism and machine learning research, опубликованная в Journal of Causal Inference, где автор определяет data science как объединение дисциплины машинного обучения как школы радикального эмпиризма (когда только данные генерируют модель реальности) и эконометрики как школы интерпретации данных (когда модель процессов/реальности генерирует данные). Методы CI в данном случае выступают ключом к балансу эмпиризма и интерпретируемости в DS.
Interpretable & Causal ML Track — Data Fest Online 2021. На ежегодном Data Fest уже в третий раз был проведен трек по вопросам Reliable ML.
Появление качественных общедоступных материалов по CI, включая как открытые русскоязычные курсы по теории CI, так и материалы по применению методов на Python.
Развитие концепции Reliable ML как объединения концепций интерпретируемости моделей и методов причинно-следственного анализа для целей усиления применимости ML моделей. Для развития идей этой концепции был создан телеграм-канал Reliable ML и также планируется открытый обучающий курс в 2022 г. (при помощи сообщества Open Data Science).
Практика
Больше практических кейсов в России. Все больще практических примеров применения CI методов в бизнес-задачах разных компаний в РФ.
Рост запроса бизнеса на управление рисками в ML проектах, где основа — causal inference методы. АБ-тестирование и контрфактический анализ — основа для корректной оценки эффективности пилотов по инвестиционным инициативам в бизнесе, а значит, и ключ к оптимизации управления инвестициями. Этот взгляд в 2021 г. (по наблюдениям авторов и по содержанию докладов конференций) стало разделять заметно больше компаний, чем ранее.
Закрепление высокой актуальности темы в ML
В 2021 г. ½ Нобелевской премии по экономике была выдана Guido W. Imbens и Joshua D. Angrist за вклад в области CI.
Так, Guido W. Imbens, помимо огромного вклада в развитие методов в предыдущие годы (например, фундаментальный труд по CI для социальных наук, статистики и биомедицины), только в 2021 г. опубликовал ряд знаковых работ как по относительно новым методам, так и по развитию классических методов расчета causal эффекта для нестандартных случаев:
Causal Bootstrap как развитие классического бутстрапа, основанного на предпосылке о том, что неопределенность в оценке возникает исключительно из неопределенности выборки (приближаем истинную функцию распределения через эмпирическое распределение). Авторы предполагают, что при применении бутстрап-методов для CI оценок, необходимо учитывать не только эмпирическое распределение, но и стохастическую природу самого эффекта воздействия.
Design-based analysis in Difference-In-Differences settings with staggered adoption интересна предложением подхода к оценке эффекта, когда оценка эффекта какого-то решения не заканчивается пилотным периодом, а продолжается во времени и далее.
Joshua D. Angrist наряду с Guido W. Imbens обосновал значимость проведения естественных экспериментов для оценки причинно-следственного эффекта, структурировал и развил теорию и методы анализа причинно-следственных связей. Одной из знаковых работ Энгриста является статья о применении метода инструментальных переменных для задач CI — на примере исследования влияния службы в армии на доход во время Вьетнамской войны. Важным фундаментальным трудом — книга Mastering 'Metrics: The Path from Cause to Effect. По ее мотивам на Data Fest 2020 также был доклад от Ивана Комарова.
Из работ Joshua D. Angrist, планирующихся к публикации в 2021 г. хотелось бы обратить внимание на:
Breaking Ties: Regression Discontinuity Design Meets Market Design — обобщение метода RDD для множественного воздействия (multiple treatments) на примере оценки causal эффекта от способа распределения мест в школах с избыточным количеством кандидатов на обучение на последующую успеваемость учеников.
One Instrument to Rule Them All: The Bias and Coverage of Just-ID IV — про проблематику использования слабых инструментов для оценки эффектов.
Interpretable & Causal ML Track — Data Fest Online 2021
На ежегодном Data Fest уже в третий раз прошел трек по вопросам Reliable ML — Interpretable & Causal ML Track 2021.
В программе в 2021 г. были следующие доклады:
1: Causality & Shapley Values (О. Филиппова). Доклад вошел в топ всех выступлений сообщества Open Data Science в 2021 г. Тема с Causal Shapley Values прогремела в 2020 г., в 2021 г. — начинает все больше применяться, обсуждаются различные вопросы, связанные с практикой применения.
2: Обзор библиотеки EconML: идеи и реализация (Н. Тоганова). Библиотеку коллеги используют в реальном бою для задач EDA по оценке эффективности отдельных промо-активностей. Методы, обсуждаемые в докладе: double ML, doubly robust, meta-learners, применение инструментальных переменных и еще чуть об honest forest и bootstrap.
3: Все способы измерить слона: заглянуть внутрь трансформенных моделей (Т. Шаврина). Доклад посвящён актуальным методам оценки и интерпретации результатов обучения трансформерных моделей. Достижения NLP команды Татьяны в рамках AIRI Сбера в этом году сложно переоценить, доклад крайне рекомендуется к просмотру.
4: Explaining Hidden Representations (К. Быков). В докладе рассмотрены популярные методы для объяснения выученных репрезентаций для нейронных сетей и обсуждается, почему навык интерпретировать усвоенные нейронной сетью концепты является must-have для Data Scientist«ов в 2021 году. Кирилл также представляет лабораторию по Interpretable AI в TU Berlin, открытую в 2020 г. Вот тут можно подписаться на их Twitter.
5: Интерпретация банковских моделей (И. Ашрапов). В рамках доклада показано как, строя сложные модели с использованием блендинга/стэкинга, можно добиться понятной бизнес интерпретации. Как результат, подсветить на основе каких наиболее критичных факторов модель приняла то или иное решение для каждого заемщика.
6: Causal Inference в анализе временных рядов (Д. Павлов). В докладе Дима рассказывает о задачах causal inference, встречаемых в контексте работы с временными рядами: Causal Treatment Effect Estimation on Time Series, Causal Discovery for Time Series и методах их решения.
Появление качественных общедоступных материалов по CI
Среди множества материалов в открытом доступе по CI, появившихся в 2021 г., хотелось бы особенно отметить следующие:
Курс лекций Дмитрия Архангельского (CEMFI) по экспериментальному анализу для экономического факультета МГУ.
Randomised Controlled Trials. Вводная лекция в курс, на которой разобрана базовая модель эксперимента, а также приведены решения проблемы несбалансированности контрольной и экспериментальной групп.
Внешние эффекты. Разобраны дизайны экспериментов, в которых не соблюдается ключевое предположение о стабильности воздействия (SUTVA), и на группы участников влияют различные внешние эффекты.
Адаптивные эксперименты. Разобраны более сложные дизайны экспериментов, где предположение о стабильности воздействия (SUTVA) соблюдается, но условия могут быть адаптивны.
Динамические эксперименты. Завершение курса обзором динамических экспериментов, где результат может зависеть не только от недавнего воздействия, но и от предыдущих. Именно такие условия характеризуют большинство более комплексных процессов в экономике и поэтому требуют более сложных дизайнов для оценки.
Книга по CI на Python: Matheus Alves Causal Inference for The Brave and True. Очень доступное изложение и куча мемов — все как мы любим. И еще раз подчеркнем, что все примеры даны на python, что пока еще довольно большая редкость для литературы по CI.
Телеграм-канал Reliable ML от авторов треков Interpretable & Causal ML на конференциях Open Data Science. В канале обсуждаются новости, мероприятия, полезные статьи и доклады в сфере Reliable ML.
Больше практических кейсов в России
В 2021 г. удалось узнать о существенно большем, чем в 2020 г., числе практических кейсов применения CI методов в бизнес-задачах разных компаний в России.
Среди них выделим две категории: отдельные кейсы применения CI методов, а также развитие АБ-тестирования в офлайне. Кейсы опишем верхнеуровнево, а в 2022 г. попробуем разобрать их детальнее на митапах/конференциях.
Отдельные кейсы
Мегафон, Data Fest 2021, Causal Methods in Dynamic Pricing — И. Горбань, Д. Пятых. В этом докладе авторы обсуждают методы causal inference и динамической оптимизации применительно к установке цен на товары в сети МегаФон Ритейл.
Промсофт: анализ влияния рекламы на продажи с помощью interrupted time-series подхода.
Glowbyte: EDA по оценке отдельных промо-активностей на основе библиотеки EconML, о которой коллеги рассказывали на Data Fest 2021.
Лента: оценка гало-эффекта установки прилавков в магазинах с помощью causal impact, доработанным в сторону робастности.
Промсофт: отладка и тюнинг моделей с использованием априорных знаний в доменной области на базе causal shapley values.
Тренды для АБ-тестирования в офлайн-бизнесе
Говорим именно про офлайн, поскольку для онлайн-бизнесов АБ-тесты уже достаточно давно являются базовой гигиеной для принятия решений о развитии бизнеса / оптимизации инвестиционного процесса. А вот офлайн в последние 2–3 года переживает активное развитие АБ.
Х5 Group, Лента, М.Видео, Промсофт: единая методика АБ-тестирования для оценки эффективности пилотов в офлайне.
Лента, Сбер: оценка эффекта пилотов для малого числа объектов на основе подхода synthetic controls.
Лента: оценка причинно-следственного эффекта, когда АБ-тестирование невозможно (robust causal impact).
Если вам известны и другие бизнес-кейсы применения методов CI — пишите в комментариях. Сделаем дополненную подборку! И запишем вас в авторов выступлений на ближайших мероприятиях по Reliable ML
