Машинное зрение применили для изучения английского языка
— No, my friend Magritte, it is a smoking pipe, indeed.
Стажеры Microsoft создали Android-приложение, которое распознает объекты через камеру смартфона и подсказывает, как их назвать по-английски. Программу также можно использовать для чтения бумажных документов.
Приложение Read My World адресовано взрослым пользователям в развивающихся странах. Его могут использовать как студенты английских курсов, так и самоучки, которые хотят расширить свой лексикон. Глоссарий Read My World включает свыше 1500 слов. Разработчики утверждают, что этого будет достаточно большинству пользователей — по статистике, основная часть студентов достигает запаса в 2–3 тыс. слов лишь через несколько лет обучения.
Авторы Read My World использовали разработки Microsoft Cognitive Services и несколько API для компьютерного зрения. В результате заучивание новых слов превращается из нудной зубрежки в занятие не сложнее отправки очередного поста в Instagram. Когда пользователь делает в приложении фотографию, Read My World распознает объекты в кадре, выводит на экран соответствующее слово и предлагает прослушать звучание. Закрепить новые знания можно в трех встроенных играх — например, подбирая правильное слово к тем или иным предметам.
После первых раундов тестирования разработчики добавили и функцию распознавания текста. Она работает схожим образом — приложение подсвечивает слова, пользователь кликает на них, чтобы услышать, как они звучат, и увидеть изображение соответствующих объектов.
В ближайшее время Microsoft планирует пригласить к тестированию некоммерческие сообщества преподавателей английского языка. Подать заявку для участия можно на этой странице.
