Facebook улучшил описания фотографий с помощью ИИ для слабовидящих
Facebook задействует технологию на ИИ, чтобы ввести более подробные описания фотографий. Соцсеть задействовала ИИ для пользователей с ослабленным зрением.
Новая версия автоматического альтернативного текста (AAT) не полагается на строго контролируемое обучение искусственного интеллекта, а учится на «миллиардах» фотографий и хэштегов из Instagram.
Этот метод позволил Facebook получить более 1200 описаний, в том числе различных рецептов и памятников. Это в 10 раз больше, чем у исходной модели.
Метод также более инклюзивен с точки зрения культуры — например, он позволяет распознавать снимки свадеб, на которых нет невесты в белом свадебном платье.
Новая система обнаружения объектов видит, где находятся люди в кадре, а также их количество. Чтобы получить более подробную информацию, такую как положение и число объектов, исследователи обучили двухэтапный детектор объектов Faster R-CNN, используя Detectron2, платформу с открытым исходным кодом от Facebook AI Research.
У пользователей появится возможность выбрать подробное описание снимка, в котором будут указаны местоположение, размер и характер объектов. Подробные описания включают простую позиционную информацию — вверху/посередине/внизу или слева/в центре/справа — и сравнение относительной значимости объектов, описываемых как «первичные», «вторичные» или «второстепенные».
Facebook подчеркивает, что пока система допускает ошибки и не может распознать некоторые сцены и объекты. Однако это большой шаг в сторону доступности соцсети для людей с ослабленным зрением. Пока модель доступна на 45 различных языках.
В декабре группа исследователей из Института медицинских исследований им. Файнштейна сообщила о создании алгоритма, дающего возможность идентифицировать отклонения у пользователей Facebook, используя отправленные ими сообщения и фотографии. Анализ показал, что частое употребление нецензурных слов может характеризовать людей с психическим заболеванием, а использование холодных голубоватых оттенков на фотографиях может быть связано с нарушением эмоционального состояния.
