Учёные Apple представили три проекта для ИИ-программирования: обучение, поиск багов и тестирование
Apple опубликовала три статьи, посвящённые исследованиям в области искусственного интеллекта. Учёные компании предложили новые подходы для поиска ошибок в коде, для тестирования созданных ИИ программных решений и для обучения моделей и агентов, способных создавать работающий код.

Источник изображения: Milad Fakurian / unsplash.com
Первое исследование посвящено модели, которую в Apple назвали ADE-QVAET. Она призвана решить проблемы, свойственные традиционным современным моделям ИИ, такие как галлюцинации, выпадение модели из контекста при анализе кодовой базы большого объёма, а также утеря связи с фактической бизнес-логикой применительно к текущему программному решению. ADE-QVAET призвана повысить точность прогнозирования ошибок посредством объединения четырёх методов ИИ: адаптивная дифференциальная эволюция (Adaptive Differential Evolution — ADE), квантовый вариационный автокодировщик (Quantum Variational Autoencoder — QVAE), архитектура трансформера, а также адаптивное шумоподавление и дополнение (Adaptive Noise Reduction and Augmentation — ANRA).
ADE выступает как альтернативный механизм обучения модели, QVAE способствует более глубокому обнаружению закономерностей в данных, трансформер помогает отслеживать связи этих закономерностей, а ANRA обеспечивает очистку и баланс данных, чтобы результаты работы ИИ были согласованными. При этом в отличие от большой языковой эта модель не проводит прямого анализа кода — она оценивает его сложность, размер и структуру и ищет закономерности, которые могут указывать на места, где вероятно возникновение ошибок. Обучив модель на 90% данных исходного массива, исследователи установили, что точность прогнозов ADE-QVAET составляет от 95% до 98%. Это значит, что модель демонстрирует высокую надёжность и высокую эффективность в выявлении действительных ошибок и почти не даёт ложных срабатываний.
Второе исследование, которое провели преимущественно авторы первого, призвано сформировать средства для планирования и создания инструментов тестирования крупных программных проектов. Учёные построили систему Agentic RAG (Retrieval-Augmented Generation) из большой языковой модели и ИИ-агентов, которая самостоятельно планирует, пишет и организовывает тестирование ПО, облегчая работу инженерам по качеству — эти задачи занимают у них от 30% до 40% рабочего времени, указывают авторы исследования.

Источник изображения: Igor Omilaev / unsplash.com
Подключение нескольких агентов к ИИ-модели с RAG помогло повысить точность тестирования ПО с 65%, которые демонстрировала прежняя модель с RAG, работавшая без агентов, до 94,8% у модели с ИИ-агентами. На 85% сократилось время тестирования ПО, на те же 85% повысилась точность средств тестирования, а прогнозируемая экономия средств составила 35%. Новая система позволила сократить сроки ввода программных решений в эксплуатацию на два месяца. Единственное ограничение предложенной Apple системы Agentic RAG состоит в том, что испытывали её на сложных корпоративных кадровых и бухгалтерских системах, а также средствах SAP.
Третий проект получил название SWE-Gym — его задача не прогнозировать ошибки и не тестировать ПО — это механизм обучения ИИ-агентов. Обучаясь на чтении, редактировании и проверке реально существующего программного кода, эти агенты обретают способность исправлять в нём ошибки. Платформу SWE-Gym построили на основе 2438 реальных задач на языке Python из 11 открытых репозиториев — в каждом из них были исполняемая среда и набор тестов, благодаря которым ИИ-агенты имели возможность практиковаться в написании и отладке кода в реалистичных условиях. Авторы исследования также создали платформу SWE-Gym Lite на базе 230 более простых задач, которая помогает ускорить обучение и снизить затраты на вычислительные ресурсы.
Обученные с помощью средств SWE-Gym агенты правильно решили 72,5% предложенных задач, то есть платформа помогла повысить качество их работы на 20 процентных пунктов по сравнению с предыдущими методами. В случае с SWE-Gym Lite время обучения сокращается вдвое, если сравнивать с полномасштабной платформой, но обученные на облегчённом варианте агенты предназначаются для работы с более простыми задачами.
© 3DNews
