Система генерирует слова песни по музыке в реальном времени
Скриншот LyricJamИсследователи из Университета Ватерлоо разработали LyricJam, вычислительную систему, которая генерирует тексты для музыки в реальном времени. Эта система поможет артистам сочинять новые тексты, хорошо сочетающиеся с музыкой, которую они создают.
Ольга Вечтомова и ее коллеги уже несколько лет разрабатывают генераторы текстов. Ранее они создали технологию, которая изучает определенные особенности лирического стиля артиста, анализируя аудиозаписи песен и тексты, и использует собранную информацию для создания лирики, соответствующей стилю конкретного исполнителя. Совсем недавно исследователи начали разрабатывать генератор текстов для заранее записанных музыкальных отрывков. В своей новой работе они попытались сделать шаг вперед, создав систему, которая может генерировать подходящие тексты для музыки, исполняемой вживую.
Система работает, преобразуя аудио в спектрограммы, после чего модель глубокого обучения генерирует тексты, соответствующие музыке. Архитектура модели состоит из двух автокодировщиков, один из которых предназначен для изучения музыки, а другой — для изучения текстов. Вечтомова и ее коллеги разработали два новых механизма, которые согласовывают музыку и тексты, обрабатываемые двумя автокодиовщиками, и помогают системе определить, какие типы текстов подходят для конкретной музыки.
Основная характеристика, которая отличает LyricJam от других генераторов текстов, заключается в том, что он может создавать лирику в реальном времени, пока исполнитель играет живую музыку. Система генерирует тексты, «отражающие настроение и эмоции, которые передаются через различные аспекты музыки, такие как аккорды, инструменты, темп», поясняет Вечтомова. Затем артисты смогут просматривать сгенерированные тексты и черпать из них вдохновение или адаптировать их, находя новые темы и лирические идеи, которые они раньше не рассматривали.
