Sony подала патентную заявку на систему ИИ-генерации кадров для увеличения плавности изображения
- Sony подала патент на ИИ, который предсказывает следующий игровой кадр по последнему готовому кадру и действиям игрока.
- Система работает параллельно с графическим конвейером и может вывести прогноз до готовности кадра видеокарты.
- Заявка описывает также вариант без ИИ со смещением пиксельных блоков; эффективность системы в реальных условиях Sony не подтвердила.
Почему это важно: Технология может уменьшить задержку и поддерживать более стабильную частоту кадров, когда рендеринг замедляется.
Система предсказывает следующие кадры и тем самым уменьшает задержку
Компания Sony подала патентную заявку на систему искусственного интеллекта с возможностью предсказывать следующий кадр в видеоиграх и сглаживать рывки изображения до того, как видеокарта закончит его создание. Следующий кадр предсказывается на основе последнего готового кадра и недавних действий игрока, таких как ввод с контроллера.
Изображение: Gemini
У других методов для создания промежуточного изображения обычно требуется два готовых кадра. Ожидание второго кадра увеличивает задержку.
С технологией Sony игры могут получить более стабильную частоту кадров в тех моментах, когда рендеринг замедляется. Sony использует совместно обученные энкодер и декодер. Система работает параллельно с графическим конвейером. Пока видеокарта отрисовывает следующий кадр, ИИ обрабатывает предыдущий и отправляет свой прогноз в буфер дисплея. Сгенерированное изображение может быть выведено на экран до готовности реального отрисованного кадра.
Изображение: Sony
Нейросеть обучают на последовательных кадрах видео. На начальном этапе веса сети задаются случайным образом. Затем система получает на вход кадр и пытается предсказать следующий. Результат сравнивают с реальным следующим кадром и вычисляют значение функции потерь, определяя степень ошибки прогноза. Видео содержит эталонные изображения, и для подготовки обучающих данных не требуется ручная разметка. Декодер формирует больше цветовых каналов, чем получает на входе энкодер. Это даёт возможность генерировать сразу несколько предсказанных кадров.
Изображение: Sony
Патентная заявка описывает альтернативную технологию без применения ИИ. Речь идёт о смещении блоков пикселей в соответствии с их движением. Данный вариант не требует обученной модели «энкодер-декодер». Описывается также метод поддержания постоянной частоты кадров без потери визуального качества.
Пока Sony не подтверждает эффективность работы системы и не приводит результатов тестов в реальных условиях.
