Над чем сегодня работают молодые инженеры23.08.2018 13:20

Обзор изобретений финалистов международного конкурса Imagine Cup.

Материал подготовлен при поддержке Microsoft

Компания Microsoft собрала лучшие студенческие команды в Сиэтле на международный финал своего технологического конкурса Imagine Cup. Для участия каждый проект проходил отбор в региональных соревнованиях.

Команды приехали из 33 стран и представили 49 разработок. В этом году особое внимание было посвящено когнитивным функциям машин — зрению, слуху и вкусу.

Благодаря новым технологиям искусственный интеллект понимает, как выглядит дым, как кричат младенцы, какой ананас на вкус, и знает, как на всё это реагировать.

Многие разработанные командами сервисы не требуют дополнительного оборудования и встраиваются в телефон, а другие представляют собой недорогие и масштабируемые решения.

Работы участников можно условно разделить на семь сфер:

Призёры конкурса

На последнем этапе соревновались три команды. Судьи оценивали их выступления по четырём параметрам: задумка, новаторство, технологичность и осуществимость. Отличительная особенность всех трёх изобретений — сочетание когнитивной функции машины, самообучаемости и облачных вычислений.

Проект smartARM, Канада — первое место

Технологии: компьютерное зрение, облачная платформа Azure, машинное обучение.

Команда из Канады представила роботизированный протез руки со встроенной камерой. Когда перед ней что-то появляется, машина распознает этот предмет и вычисляет для него оптимальный захват.

При наведении камеры на кофейную кружку, пальцы подготовятся к обхвату. А если там связка ключей, то указательный палец «крючком» подцепит кольцо, скрепляющее ключи.

Для того, чтобы рука активировалась только в подходящие моменты, на тело человека крепится дополнительный датчик. С сокращением определённой мышцы, протез включается в работу и начинает распознавать предмет.

Если машина не узнала предмет, она попробует составить его трёхмерную модель и вычислить оптимальный захват.

В механизированных протезах нет ничего нового, но у этого варианта низкая себестоимость. «Умные» протезы стоят десятки тысяч долларов, а прогнозируемая стоимость smartARM составит $100. Прототип команда распечатала на 3D-принтере.

Точность распознавания и захвата предметов будет расти с пополнением общей для всех пользователей базы данных. Судьи поинтересовались, как это будет работать с плохим интернетом: рука подгрузит базу данных при первой возможности.

Сегодня есть тенденция поиска новых форматов взаимодействия протеза и человека. Идея этого проекта достаточно интересная, и её нужно проверить на практике. С точки зрения управления протезом, не думаю, что она заменит традиционное считывание мышечных сигналов, но может стать дополнением к нему.

Для команды основная работа только начинается — нужно довести образец до серии. Это кропотливая работа, включающая обучение специалистов, ознакомительные мероприятия для медицинских сотрудников и пользователей.

Тимур Бергалиев

генеральный директор BiTronics Lab

Сервис iCry2Talk, Греция — второе место

Технологии: компьютерный слух, облачная платформа Azure, машинное обучение.

Для грудного ребёнка плач — это возможность выразить свои потребности. Дети кричат, когда им одиноко, больно, хочется есть, и даже когда их нужно укачать перед сном. Родители не всегда способны определить причину.

Матерям нужно несколько месяцев, чтобы научиться понимать причину младенческого плача. Они могут пройти в стрессе как для самой матери, так и для ребёнка, на потребности которого неправильно реагируют. Мы решили собрать записанные крики двухсот детей и предложить машине найти в них закономерности.

Анастасия Нтраха

команда iCry2Talk

Сервис греческой команды в режиме реального времени обрабатывает детский плач, чтобы понять, чем он вызван. Особое внимание разработчики уделили возможностям интеграции: приложение может работать, как Shazam на телефоне, а может быть встроено в «умную» колонку. Она включится, когда ребёнок заплачет и передаст родителю сообщение с причиной.

В основе iCry2Talk лежат четыре механизма:

1. «Денойзинг» — сервис обратит внимание только на те звуковые частоты, которые соответствуют детскому плачу.
2. Анализ плача — алгоритм определит его характеристики: продолжительность всхлипываний, тон, громкость.
3. Сопоставление — в базе данных будут найдены похожие крики других детей.
4. Динамическая оценка — сервис решит, подходит ли опыт других родителей, и предложит своё решение.

Идея сервиса также не нова, и у него есть конкуренты. На фотографии команда защищает главное отличие от них — высокую точность работы, растущую с пополнением базы данных:

Сервис Mediated Ear, Япония — третье место

Технологии: компьютерный слух, облачная платформа Azure, машинное обучение.

Шум в общественных местах мешает любой коммуникации: приходится повышать голос, прислушиваться к собеседнику. Для человека с нарушением слуха это может стать ещё большей преградой в общении.

Сервис от японской команды способен выделить определённые голоса из окружающего шума. Механика работы следующая: нужно установить сервис на смартфон и «сэмплировать» голоса родных и друзей. Другими словами, приложение запишет их голоса и выделит характерные особенности.

В разговоре с людьми, голоса которых есть в базе, достаточно вставить наушники и «прибавить» собеседникам громкость. Обработка одной секунды разговора происходит практически в реальном времени — задержка составляет 0,6 секунды.

Судьям конкурса удалось «ударить» по слабому месту сервиса — без продолжительного сэмпла, выделить голос будет невозможно.

Решения для понижения уровня постороннего шума нашли своё применение в устройствах для проведения конференций. К примеру, технология NoiseBlock от Polycom отсекает посторонние шумы по нехарактерным для голоса частотам и включает микрофон, когда распознаёт человеческую речь.

Mediated Ear работает наоборот и ищет частоты голоса. Здесь могут быть трудности, связанные с работой микрофона или плохой акустикой помещения. Сэмплирование и машинное обучение — это интересные решения, которые лучше всего справятся с необычной манерой речи. Но сервис может «запутаться» в похожих голосах близких родственников. В целом, это хорошее начало для команды.

Сергей Хомяков

вице-президент Polycom в России:

Coffee Break, команда из России

Технологии: колориметрический анализ, машинное обучение, компьютерное зрение, облачное хранение.

Россию в конкурсе представляла команда Coffee Break из МГУ. Участники придумали установку, которая определяет характеристики кофе без химического анализа. Для этого сквозь напиток пропускается пучок света и по его преломлению и отражению определяются свойства кофе: кислотность, крепость, плотность. Химические сенсоры в модели тоже есть, но они нужны только для её обучения.

На международный финале команда решила представить конечный продукт — «умную» кружку. Внутри неё расположена «ванночка», в которой измеряются характеристики напитка. В Москве участники команды отметили, что их устройство работает и с другими напитками, поэтому по приезду в Сиэтл купили ещё и пару бутылок вина.

Есть традиционный способ понять, какое вино на вкус: пригласить сомелье и дать ему попробовать. Идея проекта — найти способ определить вкус напитка без участия человека. Задача решена частично: мы научились измерять характеристики жидкостей и учим машину связывать их с субъективными человеческими ощущениями — сладость, оттенки вкуса и фруктов. С точки зрения бизнеса проект хорош тем, что нам под силу анализировать даже закрытые бутылки — определять контрафакт.

Для себя определили две причины, по которым не удалось занять призовое место: во-первых, многие проекты находятся на другом этапе жизненного пути, команды давно сформировались и успели сделать больше. Во-вторых, наш проект сильно выделялся на фоне остальных: он скорее «куражный» и не решает социальные проблемы, а судьям это важно.

Из других проектов понравился iCry2Talk, занявший второе место. У одного из участников нашей команды есть младшая сестра, и он на себе прочувствовал, насколько сложно понимать, чего хочет ребёнок.

Ещё запомнился проект, который помогает фермерам определить улей с заболевшими пчёлами. Камеры снимают, что происходит в ульях, а машина по поведению насекомых разбирается, здоровы ли они. На наш взгляд, этому проекту было под силу победить, но ему не хватило социальной составляющей, как и нашему.

В обоих этих проектах команды обращались к профессионалам: педиатрам и сиделкам, фермерам и биологам — исследовательская сторона работы вызывает уважение.

Команда Coffee Break

Игорь Балашов, Евгений Бобров и Руслан Габдуллин

Ещё несколько конкурсных проектов

Сервис Pengram, США — победитель в номинации «смешанная реальность»

Идея пришла, когда родители в очередной раз позвонили спросить, как настроить роутер, а я опять не смог им помочь.

Уилл Хуан

команда Pengram

Сервис работает с очками виртуальной реальности, в них обзор дополняется голограммой реального человека. Это может быть инженер или эксперт, который наглядно покажет сложные вещи.

В очках можно проигрывать предзаписанную голограмму, это поможет в обучении специалистов разных отраслей. Но основной упор студенты сделали на трансляцию голограммы в реальном времени, когда компетентный инженер дистанционно показывает, как чинить оборудование.

Сканер Pine, Малайзия

Малазийские студенты взялись измерять сладость ананасов. Такие приборы уже есть, но для их работы нужно вырезать кусочек фрукта и несколько минут анализировать его химический состав. Команда Pine это делает без нарушения целостности фрукта и гораздо быстрее.

Изобретение команды схоже с российской разработкой — свет проходит сквозь ананас, и по его спектральному отпечатку определяется концентрация сахара.

Приложение Eddie, Венгрия

Приложение от венгерских студентов — пример законченного продукта, оно уже доступно в App Store и Google Play. Разработчики обозначили проблему: все школьники умеют пользоваться смартфоном, но в учебных программах это никто не использует.

С помощью камеры телефона, можно распознать иллюстрацию в школьном учебнике, и на экране появится её трёхмерная модель. Это вовлекает младшеклассников в обучение, а взрослым ученикам помогает детальнее рассматривать сложные объекты. К примеру, строение органов, если речь идёт о студентах медицинских вузов.

Мнение эксперта Microsoft

Несколько лет назад проект, анализирующий эмоциональную окраску твитов, был одним из лучших в России из-за своей технической сложности. Сейчас же сделать подобное с помощью облачных когнитивных сервисов — это дело нескольких часов на хакатоне.

Мы наблюдаем стремительную демократизацию технологий, снижается порог входа для решения сложных задач. Это вовлекает в конкурс всё более молодых студентов. Успех сопутствует командам, которые объединяют междисциплинарные знания: предпринимательство, социологию, экономику и дизайн.

Один из главных трендов последнего времени — технология Intelligent Edge, когда обученная модель работает без подключения к интернету, и при этом точность страдает незначительно. Это значительно расширяет область применения конкурсных решений.

Приятно, когда студенты предлагают для социальной проблемы нетривиальное, безумное решение, которое не приходит в голову специалисту. Такое случается нечасто, но, тем не менее, это возможно, ведь студенты могут оказаться ближе к целевой аудитории.

Дмитрий Сошников

технологический евангелист Microsoft

#партнерский

©  vc.ru