Google AIY: мейкерский набор для создания гаджетов с голосовым управлением

9b639418dfdeb8757663fb7ca28f07b3.png

Компания Google запустила инициативу AIY Projects, чтобы совместить AI с DYI, то есть совместить программные приложения ИИ с наборами для сборки гаджетов. В результате, считает Google, мейкеры смогут изготовлять полезные устройства, которые помогут «решать реальные проблемы» в жизни. Эти гаджеты будут по-настоящему взаимодействовать с человеком. Например, распознавать речь, отвечать на вопросы и выполнять голосовые команды.

Первым проектом стал Voice Kit — демонстрационная система распознавания речи с подключением к Google Assistant (или без подключения). Как сказано в описании, в дополнении ко всем обычным функциям Google Assistant, тут вы сможете ещё добавлять в гаджет собственные пары вопросов и ответов. Приборчик выполнен в виде маленького картонного кубика с Rasberry Pi 3 внутри. Сборка набора из 12 деталей займёт примерно 1,5 часа.
Набор деталей можно получить бесплатно при подписке на журнал MagPi. Кстати, этот журнал доступен в цифровом виде — там описано множество удивительных проектов, в том числе в сфере машинного обучения, сделанных при помощи Rasberry Pi.

Набор продаётся и без журнала в магазинах Barnes & Noble и в британских магазинах WH Smith, Tesco, Sainsburys и Asda. Судя по всему, это пока единственные места, где продаётся набор. В набор входят интерфейсные платы, кабели, пластиковые держатели, динамик и кнопка. Не входят сама плата Raspberry Pi 3, карта SD, а также необходимые для сборки отвёртка и скотч. Главные компоненты — плата Voice HAT для распознавания речи и плата Voice HAT Microphone. Это новые платы, которые пока недоступна в свободной продаже по отдельности.

ac2c7be8dff442dcf88ff9dbcb34489b.jpg

Google предлагает подробную инструкцию, как собирать гаджет. Начиная со скрепления Raspberry Pi 3 и платы Voice HAT,

1c574dbfb2d5f0d14abe4f4b8a140537.jpg

сворачивания коробки…

ceb8f852bd81757ec6ebae1baba8d9f0.jpg

… и скрепления всего этого в единый гаджет.

656378bd469fbe5a9cd2b40a32515fb2.jpg

dd3ba9e3afb15e90b8e9c1f8e1b04c75.jpg

Далее предлагается скачать образ Voice Kit SD для записи на флеш-карту.

Периферийные устройства подключаются в разъёмы, выставленные в прорези картонной коробки: клавиатура (1), мышь (2) и монитор (3).

11df33d8ae45fd107f836f6d10abfba7.jpg

После загрузки с флеш-карты девайс готов к подключению к Google Cloud Platform по настроенному соединению WiFi. Там нужна настройка нового проекта через Google Assistant API, и затем устройство начнёт полностью нормально функционировать, принимая голосовые запросы и распознавая их в облаке.

Устройство сразу понимает основные англоязычные команды:

  • Сколько времени?
  • Расскажи шутку
  • Сделать музыку громче
  • Сделать музыку тише
  • Максимальная громкость
  • Привет (ответ: «И тебе привет»)


Как уже было сказано, можно добавлять собственные пары вопросов и ответов, то есть программировать ИИ на необходимые действия. Это делается в файле ~/voice-recognizer-raspi/src/action.py.

# =========================================
# Makers! Implement your own actions here.
# =========================================

import RPi.GPIO as GPIO

class GpioWrite(object):

    '''Write the given value to the given GPIO.'''

    def __init__(self, gpio, value):
        GPIO.setmode(GPIO.BCM)
        GPIO.setup(gpio, GPIO.OUT)
        self.gpio = gpio
        self.value = value

    def run(self, command):
        GPIO.output(self.gpio, self.value)


При желании можно использовать другие программные интерфейсы Cloud Speech API, которые переводят голосовую речь в текст и поддерживают 80 языков, в том числе русский, и обработку длинных звуковых файлов.

Разумеется, поддерживается подключение дополнительных сенсоров. Например, подключение принтера и других бытовых устройств с голосовыми командами:

  • Включить принтер
  • Приглушить свет в комнате
  • Включить чайник на кухне
  • Сварить яйца (т. е. Вскипятить воду ровно на четыре минуты)
  • Выключить праздничную гирлянду на ёлке


784db70568c20b2a51f19c93bd404d32.png

Бесплатно такой проект не осилить. Во-первых, сам набор продаётся отдельно, некоторые детали там уникальные. Во-вторых, за использование облачных API тоже нужно платить. Хотя второе не является обязательным условием. В принципе, распознавание речи можно осуществлять локально при помощи приложения на TensorFlow.

На Хабре рассказывалось о новой платформе Google для интернета вещей — Android Things. Так вот, и она вышла в версии для AIY Voice Kit, также как есть версия для Raspberry Pi и некоторых других dev-плат.

Фактически, такой гаджет способен заменить кнопки включения/выключения на всех домашних бытовых и электрических приборах: от пылесоса до микроволновой печи. Его можно использовать вместо приложения на смартфоне для более удобного голосового управления «умными» бытовыми приборами вроде термостата или программируемых лампочек. В конце концов, его можно подключить к роботу — общаться с ним и командовать голосом (типа «Скажи, когда у кошки кончится еда»).

© Geektimes