[Перевод] Генерируем музыку с помощью Stable Diffusion

Многие уже слышали, а может и пробовали модель Stable Diffusion для генерации картинок из текста.

6e3752e9cf6f92b9bb22e81ebd9e9828.gif

Теперь ту же модель можно использовать для генерации музыки! Модель была дообучена на задаче генерации спектрограмм по входной строке и теперь появилась возможность делать следующее:

a38dec4aaba5488f0d6ac86dbb39360c.gif

Вся фишка в том, что полученную спектрограмму можно легко конвертировать в аудио клип.

© Habrahabr.ru