[Из песочницы] Откуда есть пошел Animusic
Под катом краткая история анимационного детища Уэйна Лайтла (Wayne Lytle) — проекта Animusic. Это серия роликов, демонстрирующих самобытные и удивительные виртуальные музыкальные инструменты, анимация которых сгенерирована на основе музыкальных MIDI-партий (разумеется, во главе всех усилий стоит создание технологии, ролики — лишь её демонстрация).
Визитная карточка Animusic — Pipe Dreams:
[embedded content]
Intel даже воссоздали в реальности музыкальную установку целиком (в качестве рекламы для Intel Atom; согласно описанию видео, используется 7 штук для воспроизведения):
[embedded content]Менее известные поклонники творчества Уэйна тоже рвутся в бой:
[embedded content]
На десерт:
[embedded content][embedded content][embedded content][embedded content][embedded content]
ИстокиИдея использовать музыкальные партии в качестве основы для генерации визуального сопровождения пришла к Уэйну Лайтлу в 1982. Тогда он ещё не обладал необходимыми знаниями и навыками для воплощения замысла. Первый настоящий опыт Уэйн получил в 1989, с тех пор он работал над системой, впоследствии ставшей прототипом Animusic.Спустя год Уэйн представляет плоды своей деятельности на SIGGRAPH 1990 — анимацию для собственной композиции «More Bells and Whistles»:
[embedded content]
Даже сквозь грубые модели и манеру «поведения» инструментов легко узнаются будущие действующие «лица» серии.Ролик получает множество наград на разных мероприятиях, в том числе и от IBM.
В 1995 году Уэйн объединяется с компьютерным художником Дэйвом Крогнейлом (Dave Crognale) для работы над коммерческим заказом — 5-минутной стереоскопической анимацией для компании V-Rex (производитель стереоскопических очков и проекторов):
[embedded content](прим. переводчика: именно тогда была основана Visual Music, сменившая позже название на Animusic)
В 1998 Уйэн и Дэйв приступают к созданию видеоальбома, который увидел свет в 2001. То был первый Animusic. По просьбам дистрибьюторов, ребята добавили аудио в формате 5.1 и появилось так называемое специальное издание.
Спустя некоторое время они берутся за второй альбом, вышедший в 2005 году. По завершении работ над DVD Дэйв решает сделать перерыв. У Уэйна же полно новых идей и, в добавок ко всему, он осознает необходимость изменений в пайплайне.
Компания перебирается в Итаку (Ithaca, NY). Уэйн полностью с нуля пишет ПО. К нему присоединяется Стив Вэстин (Steve Westin), внесший за 2 года пребывания в команде большой вклад в графический интерфейс, реализацию шейдеров и интеграцию с RenderMan.Впечатление Уэйна от новой системы:
иногда мы с Дэйвом шутим над ANIMUSIC|studio, сложность и продвинутость которой достигла того уровня, когда добавление кнопки «Создать Animusic 3 DVD» становится вполне логичным следующим нашим шагом — жмешь на неё и, спустя несколько месяцев, забираешь готовый DVD!
Сроки выхода Animusic 3 отодвигались несколько раз из-за различных трудностей и в поддержку DVD ребята даже провели успешную кампанию на Kickstarter.
[embedded content]
Статус третьего DVD — по-прежнему «в процессе», дата выхода — «как только, так сразу». Что ж, ждём!
Команда Основными членами команды являются Уэйн и Дэйв. Оба заняты over9000-fulltime и вкладывают все свои силы в текущий проект (Animusic 3).Будучи основателем компании и идейным вдохновителем Уэйн контролирует процесс создания контента от и до.Вотчина Уэйна — разработка ANIMUSIC|studio, которая обеспечивает корректную синхронизацию музыкального сопровождения и анимации инструментов. Именно он создает прототипы для всех анимаций и реализует функциональную составляющую инструментов. Уэйн управляет виртуальными камерами, выбирает ракурсы для «съемки» (рендеринга) и осуществляет конечный монтаж роликов. Музыкальные композиции, звучащие в Animusic, также написаны Уэйном с использованием программных и аппаратных синтезаторов (Minimoog Voyager, Nord Lead 2, Yamaha DX7, и т.д.), DAW (Nuendo/Cubase SX, Reason/Record, Fruity Loops).
Дэйв же фокусируется на эстетической стороне вопроса — внешнем оформлении инструментов и их окружения, зарисовкам идей и их воплощению в Modo, 3ds Max, или XSI. На его плечах лежит ответственность за моделирование сотен элементов, которые легко собираются в единое целое, благодаря ANIMUSIC|studio. Помимо моделирования Дэйв занимается подготовкой шейдеров и материалов, придавая сценам законченный вид (т.е. создает dirt, bump, specular текстуры) при рендеринге, и композитингом.
У Animusic есть собственная рендер-ферма, она работает в режиме 24/7 и находится на попечении Дэйва.
Промо-материалы, печатная продукция — результат совместных стараний (реализацией занимается Дэйв).
ANIMUSIC|studio и Co. Уэйну часто задают вопросы относительно используемого ПО. Центральное место в процессе создания контента занимает ANIMUSIC|studio — MIDI-секвенсор и система анимации, основанная на визуальном программировании (прим. переводчика: имеется ввиду //habrastorage.org/files/c81/65a/b87/c8165ab875864cb5a120d2f6aa580103.jpg»/>»>нодовое представление
данных и связей). Ядро ANIMUSIC|studio — собственная библиотека генерации анимации (уже её 5-я версия) — MIDImotion.Сейчас написанное Уэйном ПО, недоступно для лицензирования. Во-первых, потому что главный приоритет компании — создание контента (в частности Animusic 3), а не продажа ПО. Во-вторых, автора угнетает сама мысль о написании документации к продукту, в котором он и сам иногда путается. Уэйн не исключает, возможность выпуска ANIMUSIC|studio в будущем.
Пайплайн Уэйн о пайплайне: На протяжении многих лет мы изменяли детали рабочего процесса, при этом придерживаясь общей схемы: для моделирования, создания материалов и рендеринга используем стороннее коммерческое ПО, в то время как анимация сцен генерируется процедурно при помощи собственных разработок.
Мы перешли на XSI (и отчасти Z-Brush) по части моделирования и вернулся к RenderMan в качестве движка визуализации. Все партии пишутся прямо в ANIMUSIC|studio (прим. переводчика: до этого функцию секвенсора выполнял Steinberg Cubase SX), так что мы избавились от головной боли и импорта/экспорта MIDI-файлов. Вместо этого по окончании работы MIDI отправляется по гигабитному каналу на вторую рабочую станцию, на которой находятся программные синтезаторы и рендерится.
MIDImotion Анимирование инструментов классическим keyframing без MIDImotion — операция затратная по времени. Библиотека задействует порядка 12 алгоритмов (каждый получает на входе от 10 до 50 параметров) и генерирует анимацию с предельной точностью. Изменилась музыка — запускается регенерация, не требующий никаких дополнительных усилий.Заложенные в MIDImotion принципы отличаются от реактивных технологий визуализации, ставших популярными из-за применения в аудио-плеерах. Генерации предшествует этап предварительной обработки музыкальных партий. Инструменты не просто исполняют ноты, которые назначены в MIDI-секвенсоре на данный момент времени, но и учитывают предыдущие и последующие переходы для воссоздания более естественного движения.
Аnimusic глазами его создателя
Интервью с Уэйном для midi.org (оригинал):
Интервьюер: С чего все начиналось? Уэйн Лайтл: В 70-е, ещё до появления MIDI, произошло мое знакомство с синтезаторами вроде MiniMoog, и т.п. С наступлением ранних 80-х я смутно догадывался о существовании чего-то подобного MIDI и делал зарисовки в блокноте, изображая свое видение анимации, управляемой музыкой. Однажды друг поведал мне о штуке, имя которой MIDI, и внезапно два моих мира слились воедино. Пожалуй, то было самое удивительное и прекрасное открытие в моей жизни.Однако, первые мои опыты начались только с 1989 года. Я пробовал анализировать MIDI-файлы, которыми оперируют секвенсоры, и генерировать анимацию на основе полученных данных.
Интервьюер: Вы клавишник по натуре? Уэйн Лайтл: Начинал я с фортепьяно и ударных. Несмотря на полученное в колледже музыкальное образование по специальности классическое фортепьяно, в моей навыках игры выдающихся успехов не наблюдалось. Куда больше я увлекался деятельностью в музыкальных группах. Я не очень аккуратный исполнитель, и очень рад существованию MIDI и секвенсеров. Мне достаточно «подумать» о нотах и вуаля, они уже заняли свое место. При этом клавишные могут как использоваться, так и не использоваться. Слава Богу, для этого мне не обязательно быть предельно точным в исполнении.
Интервьюер: Сколько человек работают над проектом? Уэйн Лайтл: Три человека заняты основной разработкой, пара фрилансеров работают второстепенными проектами. Также в команде есть один разработчик, нанятый на полную рабочий смену. Мы с Дэйвом занимаемся выработкой идей, моделированием и написанием музыки. С одной стороны сложно быть маленькой командой, а с другой — не проще быть и большой. Хотя у нас и нет проблем с общением между членами команды, когда людей настолько мало, шансы погореть достаточно велики.
Интервьюер: Как много времени уходит на проект? Уэйн Лайтл: На выпуск каждого из первых двух DVD ушло порядка трех лет. Мы на пути к сокращению срок до года, в данный момент для этого пишется ПО, которое позволит оптимизировать процесс разработки. Наша задача достигнуть той отметки, когда мы будем больше времени уделять игре с инструментами и творчеству, нежели программированию и тестированию кода.
Интервьюер: Вы аниматор, который любит музицировать, или музыкант, занимающийся анимацией? Уэйн Лайтл: Я и сам не раз задавал себе этот сложный вопрос! На самом деле: музыкант ли я, занимающийся программированием, или программист, пытающийся быть музыкантом? Полагаю, я достаточно долго пытался достигнуть успеха хоть на каком-то из поприщ, чувствуя, что стоит остановиться и сфокусироваться на чем-то одном. Однако, этого не произошло и теперь оба увлечения прекрасно дополняют друг друга.Безусловно, это очень весело. Чудесно иметь возможность заниматься любимым делом, и к тому же иметь собственную компанию. Мы считем, что нам очень повезло.
Интервьюер: Есть ли какое-то послание, скрывающееся за вашей работой? Уэйн Лайтл: Отличный вопрос, и я рад, что он прозвучал, поскольку его редко задают. В самом начале проект был полностью личным — он отражал то, чем я хотел заниматься, и то, о чем я думал дни напролет. Определенно, именно мое увлечение и стало отправной точкой. Но после выпуска первого DVD, когда мы увидели реакцию людей, наши мотивы и цели несколько изменились. Похоже наша работа действительно доставляла людям удоволствие, заставляла их улыбаться и испытывать радость. Некоторые особенно прониклись нашим творчеством — дети и пожилые люди. Даже нашлись педагоги, работающие с физически неполноценными детьми, которые используют Animusic в качестве вспомогательного материала при обучении музыкальной ритмике, математике и социальному взаимодействию.Вышеперечисленное стало для нас полной неожиданностью и, несомненно, приятным сюрпризом. Теперь мы твердо намерены двигаться дальше и «раздуть пламя». Вообще говоря, на повестке дня у нас стоит не попытка нести просвещение, но желание внести положительный вклад в электронные медиа и индустрию развлечений, на наш взгляд полные низкокачественных продуктов, насилия и попросту отвратительного содержимого. Мы пытаемся показать людям хорошую сторону индустрии, создавая нечто отличное и классное, при этом избегая глупости и банальности.
Интервьюер: Что первично — визуальная составляющая или музыка? Уэйн Лайтл: И то, и другое. Мы практикуем оба подхода. Для одних анимаций я предварительно полностью написал и свел музыкальное сопровождение, прежде чем вообще задумываться над визуализацией. В иных случаях все начиналось с оформления инструментов и тестирования анимации, после чего переходили к написанию музыки.В иделе — и мы придерживаемся подобного подхода при создании Animusic 3 — речь идет о симбиозе обеих составляющих, то есть одновременной работы над созданием инструментов и изучением способов их наилучшего применения. Мы выясняем на что способен инструмент, подходит ли он больше для быстрых пассажей или же медленных партий, для тяжелых риффов или баса. Много ли нот можно воспроизвести, или придется что-то выбросить и получится 8-нотная басс-машина, или инструмент с диапазоном в сорок нот? По мере продвижения меняется и музыкальная палитра, а развитие композиции может сказаться на внешнем виде инструмента. Совершенный вариант, опять же, предполагает даже большей степени интеграции и сведения практически на нет первоочередности любой из составляющих творческого процесса.
Интервьюер: Приходилось ли вам работать с производителями DAW? Уэйн Лайтл: Пока не приходилось. Мы пытаемся фокусировать свое внимание только на контенте. Наш продукт — DVD, а не написанное ПО, хотя в будущем положение дел может измениться. На самом деле, мы ушли от использования коммерческих секвенсеров. Отнюдь не из-за того, что они плохи — современные DAW постоянно совершенствуются — просто год или два тому назад я решил написать свой собственный секвенсер [MIDIMotion], который можно было бы интегрировать с визуализации музыки настолько, что вы можете назвать творческий процесс и сочинением анимаций и анимацией музыки.
Интервьюер: MIDIMotion доступен для приобретения? Уэйн Лайтл: Это обсуждалось, однако, пока секвенсера нет в открытом доступе. Довольно сложно выпустить недорогое ПО и обеспечивать поддержку на уровне, поэтому и по сей день MIDIMotion является исключительно внутренним средством разработки Animusic.Так же у нас есть сложное ПО для анимации Animusic Studio, в котором MIDIMotion используется в качестве движка, отвечающего за музыкальную составляющую анимации.
Интервьюер: Какие сильные стороны на ваш взгляд есть у современных программных синтезаторов по сравнению с аппаратными? Уэйн Лайтл: Я, прежде всего, рад текущему положению вещей. Для жалоб у меня полчти нет причин. Сейчас ты можешь использовать фантастически звучащие синтезаторы в любом количестве. Раньше было проблематично пойти и купить 6 MiniMoog’ов. Теперь же я могу открыть, скажем, несколько окон Reason и просто переключаться между ними, в зависимости от того, над какой композицией я работаю на данный момент. И при этом, все уже настроено. Честно говоря, я не часто замечаю за собой ностальгию по прошлому.Однако, у меня имеются теплые воспоминания о выступлении ELP на Мэдисон Сквер Гарден, где я увидел горы оборудования и ножи Эмерсона, торчавшие в его Хаммонде и других инструментах. Было весело!
Интервьюер: Как MIDI вписывается в современную идиому создания музыки? Уэйн Лайтл: Тот факт, что MIDI максимально прозрачен, свидетельствует о невероятном успехе. Да, он обладает огромными возможностями, и при этом не обязательно вникать во все тонкости. В отличие от минувших эпохи старых модульных синтезаторов, когда ты попросту не знал, куда и что подключать, и тонул в вопросах. Сейчас многое скрыто и происходит на фоне. И даже в компьютерах используется MIDI, даже если поблизости нет никаких кабелей, поскольку MIDI — это не только интерфейс, но и протокол, о чем многие люди и не догадываются.Я не вижу в этом большой проблем, хотя было бы неплохо больше развивать стандарт, поскольку есть вещи, которых не хватает. Не заметно людей, продвигающих MIDI вперед. Одно из моих персональных пожеланий — возможность контролируемого перехода от одной ноты к другой, как при использовании ленточного контроллера на старых синтезатора, позволяющего плавно вернуться к предыдущей ноте.
Интервьюер: Полезно ли также изучать основы MIDI? Уэйн Лайтл: Возможно, но насколько глубоко вы хотите понимать устройство ваших инструментов? Можно использовать музыкальное оборудование, не изучая досконально принципы его работы. Художнику не обязательно знать все о древесине, из которой сделана его кисть, или где была произведена щетина. Это не помешает ему создавать по-настоящему прекрасные работы. Но при желании вы может копнуть ещё глубже и узнать что-то новое.Очевидно, для людей, занимающихся разработкой ПО для создания музыки, понимание MIDI критично, более того оно должно непрерывно расширяться. По крайней мере, знания никому ещё не повредили.
Интервьюер: Как много деталей процесса разработки вы можете раскрытьУэйн Лайтл: Сейчас нам не хотелось бы делиться рецепт нашего секретного соуса, но я думаю, в определенный момент будет необходиться поделиться тем, что происходит за кулисами. Важно выяснить, как добиться понятного изложения и не столкнуться с реакцией типа «ого, слишком сложно. А эти ребята мозговитые!», ибо наша цель состоит в другом. Все не так сложно, если вы правильно подойдете к объяснению.Нам бы хотелось поделиться с людьми тем, какая мощь скрывается в MIDI. Возможно, это произойдет одновременно с открытием доступа к ПО (прим. переводчика: речь идет об Animotion, ныне ANIMUSIC|studio). Пока что наше внимание, по большей части, сфокусировано на следующем DVD.
Интервьюер: Как думаете, многое ли сможет сделать «средний» человек с вашим ПО? Уэйн Лайтл: С ПО в том виде, в котором оно находится сейчас, вероятно, не много. Прямо как в те времена, когда синтезаторами управляли ребята в лабораторных халатах из университета; втыкали всякие провода в… Сейчас с помощью ноутбука можно сделать все, что душе угодно. Я считаю, что так и должно развиваться ПО; то же самое с музыкой и анимацией, у людей должна быть возможность drag-n-drop’ом создавать новые инструменты и назначать им музыкальные партии. Людям вовсе не обязательно заморачиваться по поводу технологий, используемых в нашем продукте. Наша цель — обеспечить людям простой и приятный процесс творчества, без сбоев и падений каждые несколько минут, для того, чтобы они могли создавать крутые вещи!
При создании публикации использовались материалы следующих ресурсов:
