Представлена Llama 4: самая большая модель Meta*
Meta* представила новое поколение своих ИИ-моделей — семейство Llama 4, которое знаменует значительный прорыв в области искусственного интеллекта. Новые модели обладают нативной мультимодальностью, позволяющей работать с текстом, изображениями и видео в рамках единой архитектуры.
Три модели для разных задач
В семейство Llama 4 входят три основные модели, каждая со своими особенностями:
Llama 4 Scout
Scout — компактная модель с 17 миллиардами активных параметров и 109 миллиардами общих параметров. Ключевая особенность Scout — рекордное контекстное окно в 10 миллионов токенов, что примерно в 80 раз больше, чем у предыдущей версии Llama 3 (128 тысяч токенов). Это позволяет модели обрабатывать огромные объемы информации — целые книги, технические документации или многочасовые диалоги за один раз.
Scout может работать на одном GPU NVIDIA H100, что делает ее доступной для широкого круга разработчиков. Модель поддерживает 12 языков и превосходит аналоги сопоставимого размера, включая Gemma 3 и Gemini 2.0 Flash-Lite.
Llama 4 Maverick
Maverick также имеет 17 миллиардов активных параметров, но использует 128 экспертов и содержит в общей сложности 400 миллиардов параметров. Контекстное окно составляет 1 миллион токенов. Модель превосходит GPT-4o и Gemini 2.0 в задачах кодирования, рассуждения, многоязычности, обработки длинного контекста и анализа изображений.
Экспериментальная чат-версия Maverick набрала 1417 ELO на платформе LMArena, что является высоким показателем в своем классе.
Llama 4 Behemoth
Behemoth — самая мощная модель в линейке с 288 миллиардами активных параметров и около 2 триллионов общих параметров. По заявлению Meta*, Behemoth превосходит GPT-4.5 в областях STEM.
Эта модель пока находится в стадии обучения и не выпущена публично, но уже служит «учителем» для своих меньших собратьев в процессе обучения.
Технологические инновации
Все модели Llama 4 используют архитектуру Mixture of Experts (MoE), которая повышает вычислительную эффективность, активируя только необходимые компоненты модели для конкретных задач. Например, Maverick содержит 400 миллиардов параметров, но использует только 17 миллиардов активных параметров через 128 экспертов.
Другая ключевая инновация — «ранняя интеграция» (early fusion), позволяющая объединять токены текста и изображений в единую модельную структуру. Это дает возможность предварительно обучать модель на больших объемах немаркированных текстов, изображений и видео.
Доступность и применение
Scout и Maverick уже доступны на Llama.com и через партнеров разработчиков, включая платформу разработки ИИ Hugging Face. Кроме того, ИИ-ассистент, интегрированный в WhatsApp, Messenger и Instagram, уже обновлен для использования Llama 4 в 40 странах.
Компания планирует рассказать о будущих моделях ИИ и планах развития продуктов на конференции LlamaCon, которая состоится 29 апреля. А уже сейчас можно ознакомиться с прогнозами о будущем ИИ от исследователей Google DeepMind. Рассказали о них в статье.
*Meta признана в России экстремистской организацией и запрещена на территории РФ
