Весь мир — это модель, а LLM в нём — бэкенд
Весь мир — это модель, а LLM в нём — бэкенд
На любом этапе развития AI активно идут философские или около того рассуждения. Сейчас, например, мы спорим насчет того, что такое AGI или world model. Последняя концепция впервые появилась, наверное, несколько десятков лет назад, но на новый уровень её вывел Ян Лекун.
Как сделать, чтобы машины обучались настолько же эффективно, как люди или животные? Как машины могут обучиться репрезентациям и планировать действия на нескольких уровнях абстракции? Для этого, по мнению Лекуна, машине нужна такая же внутренняя модель мира, которая есть у животных. Когда в 2022 году он высказался о своем дальнейшем видении AI, вопросов было больше чем ответов. С тех пор концепция world model постепенно вошла в оборот, хотя до сих пор не совсем понятно, что же имеется в виду (совсем недавно Лекун дал что-то вроде формального определения модели мира — скрины ниже) Но тем не менее, что-то, что называют world model появляется.
LAW
Авторы из Калифорнийского университета в Сан-Диего и Университета Джона Хопкинса объединили концепции языковой (Language), агентной (Agent) и мировой (World) моделей в один «закон» — LAW (статья). Отталкивались они от того, что LLM, даже достигнув колоссальных успехов и став самым продвинутым примером искусственного интеллекта, легко ошибаются в самых простых рассуждениях и планировании.
И это не похоже на что-то, что можно решить, в очередной раз увеличив размер модели. Это отражение фундаментальных ограничений: естественный язык по своей природе неоднозначен и неточен, и потому во многих ситуациях он неэффективен, как инструмент рассуждений. Когда человек говорит или пишет, он опускает гигантский пласт важнейшего контекста — начиная от собственного психологического состояния заканчивая общим здравым смыслом. LLM же генерирует текст лишь формально, не опираясь на физический, социальный или ментальный опыт. Другими словами, человек опирается на некую модель мира, какой бы она ни была, и формирует свои представления. На их основе человек принимает решения — этим руководит «агентная модель». Примерно такую концепцию авторы и предлагают перенести на искусственный интеллект.
Так как в этом поле пока нет устоявшихся определений и каждый использует что-то своё, сейчас будем использовать определения авторов статьи.
Модель мира — ментальные репрезентации, которые использует агент, чтобы понимать и прогнозировать внешний мир
Агентная модель — включает в себя мировую модель и другие важные компоненты, в том числе цели агента, его убеждения насчет текущего состояния мира и других агентов.
Языковая модель в концепции LAW — это бэкендная часть. Рассуждения должна строить не сама LLM (которая не всегда безупречна в этом), а агентная и мировая модели. Они, по мнению авторов, обладают большей степенью абстракции и могут учитывать вещи, важные в человеческих рассуждениях: убеждения, ожидания последствий, стратегию.
Чтобы обучится физическому миру, одного только текста, конечно, не достаточно. Мировая модель должна будет обучаться на человеческих демонстрациях, взаимодействии с человеком и обязательно на реальном физическом опыте. И тут происходит приятное совпадение, как когда две группы строителей роют тоннель с двух разных входов и наконец встречаются посередине. Для бурного развития AI-роботики не хватает ровно того же — реальных физических данных для обучения. В 2021 году OpenAI, не привлекая внимания, приостановила команду роботехники просто из-за того, что не было данных, на которых можно было учить роботов (об этом рассказывал руководитель направления Войцех Заремба в подкасте). Google Deepmind поступил по-другому и создали AutoRT (статья, блог), которая насобирала тысячи реальных примеров, в которых роботы выполняют различные задания.
AutoRT
AutoRT использует готовые базовые модели — модель зрения осматривает ситуацию и положение и описывает что видит, LLM генерирует задания, еще одна LLM отбирает наиболее подходящие из них и отдает на исполнение роботу.
Авторы запустили флот из 20 роботов (система может работать и на произвольном количестве) на семь месяцев в 4 разных здания своего кампуса.
Пока на фоне продолжали свои занятия сотрудники гугл, роботы разъезжали по офису и сами искали себе задания. Чуть подробнее о внутренностях AutoRT: VLM составляет в свободной форме описание окружения, перечисляет объекты, которая видит робот. Например «вижу пачку чипсов и губку». Языковая модель предлагает несколько заданий, например «открой чипсы», «протри стол» или «положи пачку на стол». Эти задания отправляются на суд другой LLM, которая действует в соответствии с конституцией. Она решает, какие из этих заданий робот выполнить не может, какие может только с помощью человека, а с какими справится сам. Это нужно для того, чтобы AutoRT могла безопасно работать в более разнообразной обстановке с неизвестными объектами.
Вернёмся еще раз к той самой конституции, по которой отбираются подходящие задания. Она по сути заменяет файнтюнинг сводом правил. Сами правила делятся на три категории. Во-первых, базовые правила — примерно те же, что и в трех законах робототехники Айзека Азимова:
Робот не может принести вред человеку
Робот должен защищать самого себя, если это не противоречит первому пункту
Робот должен подчиняться командам человека, если это не нарушает первые два пункта.
Во-вторых, правила безопасности, которые запрещают задания с живыми существами, острыми объектами и электричеством. В-третьих, физические ограничения — единственная рука и запрет на поднятие чего-то тяжелее книги.
Иногда сотрудники мешали выполнить роботу задание (например, клали пачку чипсов обратно в ящик). В итоге за семь месяце флот роботов собрал 77 000 уникальных заданий.
Для контраста можно коротко пример другого подхода от команды MIT (блог, статья). Тут авторы не строят world model и не дожидаются синхронизированных данных для обучения роботов. Вместо этого они взяли обученные отдельно LLM, которая разделяет задачу на подзадачи, диффузионную модель, которая генерирует визуальное представление подзадач и модуль, который генерирует собственно команду. Три модуля связаны между собой итеративной обратной связью.
Такой подход тоже имеет право на существование. В конце концов, он позволяет добиться результата теми инструментами, которые уже есть. Интересно теперь будет увидеть, будет ли обучение на полученных от AutoRT данных лучше, чем несинхронизированое обучение отдельных модулей и оправдает ли себя концепция модели мира.
Больше наших обзоров AI‑статей на канале Pro AI.
