Компьютер научился предсказывает жесты по голосу

Результат довольно реалистичный, но неточный
912bb595bac52dbd0f9c1db826046f14b36cc32e

Разработчики из Калифорнийского университета в Беркли создали систему на базе искусственного интеллекта speech2gesture и обучили её предсказывать жесты человека, основываясь на его голосе.

Нейросеть выдаёт довольно реалистичные результаты, угадывая примерно в половине случаев. Для обучения нейросети использовалась подборка видеозаписей общей продолжительностью 144 часа с десятью разными людьми, которые много жестикулируют, такими как телеведущие, преподаватели и проповедники.

55e750a53f8dcd4a6834465cece2d2a39d17fe05

В итоге обучения, алгоритм освоил реалистичную жестикуляцию, но система способна предсказывать жесты не слишком точно. При синхронизации с оригиналом становится заметно, что нейросеть угадывает в 44% случаев и регулярно путает положение рук.

Результат исследований и исходный код разработчики выложили в открытом доступе.

©  Ferra.ru