Как я делаю цифровую минигитару. Часть 3
Очередной этап разработки гитары завершен и мы наконец запустили кампанию на Кикстартере!
После публикации предыдущей статьи прошло много времени, наполненного пандемиями, чипапокалипсисами, санкциями, дискриминациями, войнами, блокировками счетов и прочими невзгодами. Все это значительно отсрочило запуск нашего Кикстартера. Но сложа руки мы не сидели. Мы изготовили несколько полнофункциональных красивых прототипов, я существенно доработал аппаратную и софтовую части гитары и мы полностью переработали мобильное приложение.
Изготовление механической части заняло практически все время, было очень сложно. Но результат оказался достойным. Для изготовления использовалось множество техпроцессов: 3д печать разными пластиками с покраской, фрезеровка и анодирование алюминия, нанесение маркировки, литье и overmolding силикона.
Набор деталей, заказанных в Китае
Фото в собранном виде
Все заявленные в предыдущей статье функции удалось реализовать. Мы собрали очень много фидбека по UX, так что однозначно будут изменения в конструкции в случае успешного краудфандинга. Они коснутся расположения кнопок, распределения масс, чувствительности датчиков, надежности подпружиненных контактов и узла сгибания.
В результате работы над софтовой частью и приложением появилось несколько новых режимов:
Режим игры по табулатурам
В этом режиме можно выбрать песню из списка табулатур, после чего гитара будет показывать диодами как ее играть. На каждом шагу она ждет правильного выполнения и переходит к следующему. Приложение оценивает правильность игры и выдает баллы в конце.
Также можно создавать свои собственные табулатуры и мы даже сделали для этого специальную клавиатуру для ввода символов. В будущем планируем подключить парсинг стандартных табулатур Guitar Pro и облачную библиотеку. Предстоит большая работа с лицензиями на них. Если у кого-то из читателей есть опыт в вопросах лицензий, будем благодарны консультации.
Режим упрощенной импровизации
Этот режим импровизации оказался очень удачным. Благодаря подсвечиванию на грифе гитары связанных друг с другом нот (гамма или пентатоника), которые хорошо сочетаются друг с другом, пользователю не нужно тратить месяцы на изучение музыкальной теории. Достаточно просто выбрать нужную тональность на гитаре или в приложении. При желании неподходящие ноты могут быть вообще проигнорированы системой. Тогда на гитаре будет просто невозможно сыграть неправильные ноты.
Режим импровизации с помощью ИИ
Но мы захотели пойти дальше и сделать режим еще более простой импровизации. Задумка в том, чтобы даже случайное перебирание струн и ладов приводло к адекватной приятной мелодии в рамках выбранного жанра, причем характер перебирания нот влиял на темп и характер выдаваемой мелодии.
Один из вариантов решения задачи — использование нейронной сети, обученной на базе множества midi файлов внутри заданного жанра.
Пока этот режим будет работать только в нашем приложении, но если соберем достаточную сумму, то, может быть, поставим в гитару stm-ку пожирнее и засунем нейронку в нее.
Мы только в начале пути разработки этого режима. Если среди читателей Хабра есть специалисты по нейронным сетям, генеративной музыке или теории музыки, желающие поучаствовать в проекте, прошу написать мне.
Встроенный синтезатор
К встроенному в гитару jack 3.5 мм можно подключить наушники или портативную колонку и играть без подключения к внешним устройствам. Встроенный звук, конечно, не ахти, но содержит более 70-ти инструментов от пианино и гитары до барабанов, органа и даже пистолетных выстрелов. При этом ничего не мешает подключить к телефону или компу и записывать миди параллельно.
Вибрато/бенды
Для полноценной игры многим не хватает поддержки таких гитарных техник, как бенды и вибрато. Я наивно думал, что можно использовать модуляцию питч бенда наклоном гитары по акселерометру, но привычные движения рукой это не заменит. Поэтому я решил встроить в гриф датчики силы и интерпретировать изменение силы нажатия на лады как натягивание струн поперек грифа и сдвигать pitch соответствующей струны.
Так что теперь можно забиндить наклон гитары к другим эффектам.
Режим драм машины
Теперь гитару можно положить на стол и настукивать биты на грифе прямо как на midi контроллерах. Осталось адаптировать корпус гитары так, чтобы он не шатался на плоском столе.
Режимы тренажера и обучения в игровой форме
Для изучения нот, аккордов, гамм и отработки мануальных навыков можно включить режим тренажера или аркадную игру в стиле Guitar Hero.
Также за это время мы сняли финальное промо видео:
Мы только что запустили кампанию! Кому интересно следить за новостями проекта или оформить предзаказ — прошу пожаловать на Kickstarter и на наш сайт Sensy. Впереди еще очень много работы и мы надеемся на вашу поддержку.
Спасибо за внимание! Буду рад обратной связи в комментариях.
