Эволюция с помощью больших моделей17.06.2022 07:00

Аннотация

В данной статье развивается идея о том, что большие языковые модели (LLM), обученные генерации кода, способны существенно повысить эффективность операторов мутации, применяемых к программам в генетическом программировании (GP). Поскольку такие LLM используют обучающие данные, содержащие последовательные изменения и модификации, они могут с высокой точностью имитировать изменения, которые внес бы человек. Чтобы подчеркнуть масштабы последствий такого подхода — эволюции с помощью больших моделей (ELM), — в основном эксперименте ELM в сочетании с алгоритмом MAP-Elites генерирует сотни тысяч функциональных примеров программ на Python. Эти программы создают работающих шагающих роботов в среде Sodarace, с которой исходная LLM никогда не сталкивалась на этапе предварительного обучения. Полученные примеры затем используются для первоначального обучения (бутстрэпа) новой условной языковой модели, способной подбирать подходящего робота-шагомета для конкретного ландшафта. Способность запускать новые модели, способные создавать подходящие артефакты для заданного контекста в предметной области, где ранее отсутствовали любые обучающие данные, открывает новые перспективы для открытых систем (open-endedness), глубокого обучения и обучения с подкреплением. Эти последствия подробно рассматриваются в работе в надежде вдохновить исследователей на новые направления, открытые благодаря ELM.