Яндекс разработал единую нейросеть, которая умеет и генерировать, и редактировать изображения
Компания Яндекс разработала первую версию единой нейросетевой модели Alice AI ART 2.0. По заявлению разработчиков, особенность новой модели в том, что она одинаково хорошо умеет генерировать изображения и редактировать их по инструкции пользователя.
Изображение: ЯндексВ Яндексе рассказали, что раньше генерация и редактирование изображений развивались как два независимых технологических стека со своими моделями, данными, метриками и процессами обучения, а любое улучшение приходилось внедрять отдельно для каждой системы. Переход к единой модели позволил объединить оба сценария в общей архитектуре, благодаря чему знания, полученные при обучении генерации, автоматически используются и при редактировании.
Разработчики Alice AI ART 2.0 также отмечают, что нововведения особенно заметны при работе с редкими визуальными концептами. Если модель научилась создавать по текстовому запросу изображения с элементами хохломской росписи или самоваром, она сможет корректно использовать эти же объекты при редактировании существующих изображений.
Разработчики также внедрили в архитектуру отдельный модуль, чтобы он расширял запрос пользователя для более точной генерации. Компания подсчитала, что это повысило точность редактировании изображений примерно на 12% без изменения самой генеративной модели. Alice AI ART 2.0 уже работает в Алисе AI и «Шедевруме»: можно сгенерировать картинку с нуля по тексту и отредактировать свою по инструкции.
© iXBT
