Инструменты AutoML в 2024
Определимся с терминологией. Можно найти c десяток формулировок »AutoML- это…» с разной степенью детализации. Но все они сведутся к словам «AutoML — автоматизирует и упрощает работу с данными». И вот здесь как раз и начинаются сложности. Границы определения AutoML размыты. Есть фреймворки работающие на »3 строчках» кода, есть с платформы с GUI, есть библиотеки для профессионалов и новичков.
В AutoML идут по нескольким причинам: по неопытности, из-за лени, от нехватки времени, из-за большого ума. Автор, скорее относится к первым трем категориям.
Пожалуй, основное, что надо понимать, впуская AutoML в свои проекты — это не волшебная таблетка для всех задач. Для каждого типа проблем мы можем использовать свой инструмент. Мне скорее нравится смотреть на подмножество AutoML как на комнату инженера-ремесленника, где собраны шурупы, отвертки, молотки, дрели, станки и шлифовальные машины. Войти в эту комнату просто, а вот выбрать нужный инструмент, получить результат и выйти из комнаты без травм не всегда получается.
В каких прикладных задачах AutoML может помочь?
Подготовка данных для моделей
EDA
Feature Engineering
Отбор моделей и их параметров
Объяснимость моделей
Блендинг, стекинг
вывод в жизнь*
— если для табличных данных и классических ML задач, решаемых через регрессии и классификации, AutoML будет точно хорош, то с временными рядами, мультимодальными данными и выводом решений в жизнь есть вопросики.
Что из AutoML попробовать?
Ниже приведу краткий справочник по инструментарию AutoML (актуально на май 2024)
AutoGluon — «Fast and Accurate ML in 3 Lines of Code». Библиотека от парней из Amazon. В 2023–2024 году AutoGluon, пожалуй, самая перспективная библиотека, которая выжмет из данных все. Однако, замечу, что про 3 строчки кода упомянутые выше, это все же про маркетинг. API имеет не одну страницу документации. В AG есть три модуля: Tabular, Multimodal, Time-series. Суперсила AG — это блендинг и стекинг моделей.
H2O-3 — AutoML библиотека от H2Oai. Сделана и поддерживается блестящей командой дата саентистов, имена которых вы можете видеть в топе практически любого соревнования на Kaggle. Суперсила этой библиотеки — это Java на котором она написана, GUI и Python интерфейсы.
DriverlessAI — коммерческий продукт и платформа от H2O. Если в организации есть свободные внушительные бюджеты на data science, то на DriverlessAI ваши датасаентисты будут чувствовать себя как дети в магазине со сладостями. Просто взгляните на этот интерфейс….
Впрочем, если есть бюджет на DriverlessAI, то зачем вам команда дата саентистов?
BlueCast — фреймворк создаваемый одним разработчиком, кэгглером и энтузиастом Томасом Мейсснером. Суперсила BlueCast в EDA, объяснимости моделей, скорости и философии продукта. Томас на Kaggle создал множество ноутбуков с примерами использования, и за год BlueCast серьезно вырос. Поддержите автора звездой на GitHub, это крайне для него важно.
LightAutoML (LAMA) — мощный open-source AutoML фреймворк за которым стоит одна из сильнейших по экспертизе DS команд из Sber AI Lab. Суперсила LAMA — это бленды и настраиваемые эксперименты. В то же время LAMA скорее скальпель для профессионалов,. Давно не было обновления, очень надеюсь, что мы увидим его в ближайшее время.
MLJAR — AutoML проект созданный в 2016 году. Продолжает регулярно обновляться и поддерживается создателями. Суперсила MLJAR в стабильности и простоте настроек. Практически в любом тесте / сравнении AutoML фреймворков MLJAR будет рядом с лидерами.
PyCaret — Low-Code Machine Learning. Известный Open Source проект, создаваемый Moez Ali и энтузиастами. Более 8 тыс звезд на GitHub. Суперсила PyCaret в модульности, low-code подходе и документации. Если вы новичок в DS и хотите попробовать AutoML, а заодно понять, что там происходит под капотом, то начните с PyCaret и их отличного сайта.
О чем в AutoML не смог (но хотел бы) рассказать ?
Несколько заметных AutoML о которых, надеюсь, кто-то сможет рассказать в комментариях:
Что по AutoML бенчмаркам?
Если хочется сравнивать AutoML не субъективно, а по результату, то пожалуй это свежее исследование — идеальная отправная точка:
AMLB: an AutoML Benchmark
https://jmlr.org/papers/volume25/22–0493/22–0493.pdf
https://automlbenchmark.streamlit.app/
Такую картинку вы увидите на большинстве тестов:
Где испытать AutoML в 2024?
1 мая 2024 на Kaggle стартует 2024 AutoML Gran Prix. Это 5-ти месячное соревнование-хакатон живущее параллельной жизнью в соревнованиях плейграунд.
Впрочем, по своей философии это соревнование не про выбор лучшего AutoML фреймворка, а про «у вас есть 24 часа — делайте, что хотите» и как раз с такой формулировкой можно в это соревнование вписаться.
