Инженер создал слепую камеру на базе Raspberry Pi, которая с помощью ИИ создаёт фото по звуку окружения

3vgxupplr8ud1wcqwl_uemr0xmk.jpeg

Инженер и разработчик Диего Трухильо Писанти из Мексики представил проект Blind Camera («слепая камера») на базе Raspberry Pi 3 B. Портативное устройство с помощью бортовой ИИ-системы генерирует фотографию по звуку окружающего мира. Камере не нужно подключение к внешним системам для создания изображения.

Blind Camera работает аналогично обычной камере: вы наводите гаджет на то, что хотите снять, и нажимаете кнопку, чтобы создать изображение. В этом случае, однако, у Blind Camera есть большой рупор спереди, который помогает усилить процесс улавливания звуков. Пользователи должны направить устройство в направлении того места, что они хотят сфотографировать, прежде чем нажимать кнопку генерации картинки. Затем камера анализирует звук через ИИ-фильтр и создаёт изображение в общих чертах.

fg4zakgzkjh9pseyoiizilmxvoc.jpeg

По словам Писанти, специально для этого проекта он разработал свою нейронную сеть и обучил ИИ на собственной модели на основе набора видеороликов, снятых в Мехико. Нейросеть сравнивает звуки с ранее известными ей связками видеокадров и аудио и создаёт свою собственную ассоциацию.

f6n1i0dnoxekeqtcqqtcldqxzna.jpeg

Модель искусственного интеллекта, используемая для обучения Blind Camera, была создана с использованием Python 3. Она предназначена для работы с Tensorflow 2 и работает на Raspberry Pi с использованием TFLite.

Устройство Blind Camera имеет небольшой экран, который служит своего рода видоискателем. Также экран позволяет узнать статус обработки изображений и обеспечивает предварительный просмотр сгенерированных фото. Камера и экран размещены внутри специального корпуса, напечатанного на 3D-принтере.

bplbmc88dc23h6zoxukcm9x84gi.jpeg

Примеры созданных слепой камерой фото приведены ниже (сначала место съёмки, потом картинка с камеры).

ki9udurmfptrgrp60ghjbehn1ka.jpeg3kwbt7rawhxodxcoiho_7lnz3cm.jpeg8cddahf7cngdskrvcf67oylhn-c.jpegnbfhwyr5awxadb2dqesalrth5pi.jpeg

В конце мая инженер Бьёрн Карманн представил промт-камеру Paragraphica без объектива и привычных механизмов для фотооборудования на базе Raspberry Pi 4. Вместо всего этого устройство генерирует изображение на основе данных о местоположении. Paragraphica выполнена в корпусе обычной камеры, но вместо объектива установлена заглушка, напоминающая паука. На экране устройства всегда можно посмотреть актуальное местоположение и промт, по которому будет генерироваться фотография.

ykxalfgwbnw94nwzrydhfkhdqqi.jpeg

© Habrahabr.ru