[Перевод] Beep, Beep, I'm a sheep13.01.2021 19:17

?v=1
В новой переводной статье обсуждаем, как создать бипер на разных платформах.

Аудио-ввод-вывод — непростая тема, пугающая многих музыкантов, которые занимаются программированием, и программистов, которые увлекаются музыкой. Давайте попробуем разобраться в этом вопросе! В этой статье мы обсудим, как работает звук на каждой из современных ОС (десктоп-версии).
Наш сегодняшний кейс будет рассмотрен на примере простого бипера. Помните эту раздражающую штуку внутри коробки ПК, издающую неприятный жужжащий звук? Сейчас это стало просто воспоминанием! Я предлагаю сделать библиотеку, которая воспроизводит подобные звуки на всех ОС.

Конечный результат доступен по этой ссылке.

WINDOWS


Нам повезло с Windows: здесь уже есть функция Beep (freqency, duration) в . Мы можем использовать ее.

У этой функции очень долгая и сложная история. Она была введена для воспроизведения звуковых сигналов через аппаратный бипер с использованием программируемого таймера 8245. Поскольку все больше и больше компьютеров выпускалось без бипера, эта функция со временем устарела. Однако в Windows 7 она была переписана для воспроизведения звуковых сигналов с использованием API звуковой карты.

Тем не менее за кажущейся простотой этой функции скрывается сложность всех звуковых API Windows. В 1991 году был выпущен MME. Он используется по умолчанию для аудио, так как обладает хорошей поддержкой.

Известно, что для MME характерна большая задержка воспроизведения и, вероятно, он не подойдет для большинства аудиоприложений. Также в 2007 году был выпущен WASAPI. Он имеет меньшую задержку, особенно при использовании в эксклюзивном режиме (режим, при котором пользователь не может слушать Spotify или любое другое приложение, когда ваше приложение запущено). WASAPI — хороший выбор для аудиоприложений, однако обратите внимание и на DirectSound, который является оболочкой WASAPI для взаимодействия с DirectX.

Если не уверены, используйте WASAPI.

LINUX


Аудио — одна из немногих областей, в которой API Linux ничем не круче остальных платформ. Прежде всего, стоит сказать про ALSA, которая является частью самого ядра.

ALSA взаимодействует напрямую с оборудованием, и если вы хотите, чтобы ваше приложение работало со звуком эксклюзивно, ALSA может стать неплохим компромиссом между сложностью и производительностью. Если вы собираете синтезатор или семплер для Raspberry Pi, ALSA- хороший выбор.

Кроме того, существует и PulseAudio, слой звуковой абстракции, созданный на основе ALSA. Он направляет звук из различных приложений и пытается микшировать аудиопотоки, чтобы критически важные приложения не страдали от проблем с задержкой. Хотя PulseAudio предоставляет множество функций, которые были бы невозможны с ALSA (например, маршрутизация звука через Интернет), большинство музыкальных приложений не используют его.

Многие используют JACK Audio Connection Kit. JACK был создан для профессиональных музыкантов. Он заботится о воспроизведении в режиме реального времени, тогда как PulseAudio был создан для обычных пользователей, которые могут и потерпеть некоторую задержку при воспроизведении видео на YouTube. JACK соединяет аудиоприложения с минимальной задержкой, но имейте в виду, что он по-прежнему работает поверх ALSA, поэтому, если ваше приложение будет единственным запущенным аудиоприложением (например, если вы создаете драм-машину из старого Raspberry Pi), в таком случае ALSA намного легче использовать, и производительность тоже будет лучше.

Сделать beeper-функцию с помощью ALSA, на самом деле, не так сложно. Нам нужно открыть аудиоустройство по умолчанию, настроить его на использование хорошо поддерживаемой частоты дискретизации и формата дискретизации и начать записывать в него данные. Аудиоданные могут представлять собой пилообразную волну, как описано в предыдущей статье.

int beep(int freq, int ms) {
  static void *pcm = NULL;
  if (pcm == NULL) {
    if (snd_pcm_open(&pcm, "default", 0, 0)) {
      return -1;
    }
    snd_pcm_set_params(pcm, 1, 3, 1, 8000, 1, 20000);
  }
  unsigned char buf[2400];
  long frames;
  long phase;
  for (int i = 0; i < ms / 50; i++) {
    snd_pcm_prepare(pcm);
    for (int j = 0; j < sizeof(buf); j++) {
      buf[j] = freq > 0 ? (255 * j * freq / 8000) : 0;
    }
    int r = snd_pcm_writei(pcm, buf, sizeof(buf));
    if (r < 0) {
      snd_pcm_recover(pcm, r, 0);
    }
  }
  return 0;
}

Здесь мы используем синхронный API и не проверяем ошибки, чтобы функция оставалась короткой и простой. Синхронный блокирующий ввод-вывод, вероятно, не лучший вариант для серьезных аудиоприложений, и, к счастью, ALSA поставляется с различными методами передачи и режимами работы: ссылка. Но для нашего простого эксперимента этого вполне достаточно. Если вы сомневаетесь, используйте ALSA. Если вам предстоит взаимодействовать с другими аудиоприложениями, используйте JACK.

MACOS


В случае MacOS, всё достаточно просто, но не совсем элементарно.

MacOS имеет фреймворк CoreAudio, отвечающий за звуковые функции на десктопе и на iOS. Сам CoreAudio представляет собой низкоуровневый API, тесно интегрированный с ОС для оптимизации задержки и производительности. Чтобы воспроизвести звук с помощью CoreAudio, необходимо создать AudioUnit (аудиоплагин). AudioUnit API немного длинноват, но прост для понимания. Вот как создать новый AudioUnit: 

AudioComponent output;
AudioUnit unit;
AudioComponentDescription descr;
AURenderCallbackStruct cb;
AudioStreamBasicDescription stream;

descr.componentType = kAudioUnitType_Output,
descr.componentSubType = kAudioUnitSubType_DefaultOutput,
descr.componentManufacturer = kAudioUnitManufacturer_Apple,

// Actual sound will be generated asynchronously in the callback tone_cb
cb.inputProc = tone_cb;

stream.mFormatID = kAudioFormatLinearPCM;
stream.mFormatFlags = 0;
stream.mSampleRate = 8000;
stream.mBitsPerChannel = 8;
stream.mChannelsPerFrame = 1;
stream.mFramesPerPacket = 1;
stream.mBytesPerFrame = 1;
stream.mBytesPerPacket = 1;

output = AudioComponentFindNext(NULL, &descr);
AudioComponentInstanceNew(output, &unit);
AudioUnitSetProperty(unit, kAudioUnitProperty_SetRenderCallback,
										 kAudioUnitScope_Input, 0, &cb, sizeof(cb));
AudioUnitSetProperty(unit, kAudioUnitProperty_StreamFormat,
										 kAudioUnitScope_Input, 0, &stream, sizeof(stream));
AudioUnitInitialize(unit);
AudioOutputUnitStart(unit);

Этот код только создает и запускает новый AudioUnit, фактическая генерация звука будет происходить асинхронно в обратном вызове: 
static OSStatus tone_cb(void *inRefCon,
                        AudioUnitRenderActionFlags *ioActionFlags,
                        const AudioTimeStamp *inTimeStamp, UInt32 inBusNumber,
                        UInt32 inNumberFrames, AudioBufferList *ioData) {
  unsigned int frame;
  unsigned char *buf = ioData->mBuffers[0].mData;
  unsigned long i = 0;
  for (i = 0; i < inNumberFrames; i++) {
    buf[i] = beep_freq > 0 ? (255 * theta * beep_freq / 8000) : 0;
    theta++;
    counter--;
  }
  return 0;
}

Этот обратный вызов генерирует звук аналогично тому, как мы это делали с ALSA, но он вызывается асинхронно, когда CoreAudio считает, что аудиобуфер почти пуст и его необходимо заполнить новыми аудиосемплами.

Такой асинхронный подход к генерации звука очень распространен, и почти каждая современная аудиобиблиотека его поддерживает. Если вы хотите создать музыкальное приложение, вам следует разработать его с учетом асинхронного воспроизведения.

Если сомневаетесь, используйте CoreAudio.

Звучит сложновато, да?


Если вы создаете музыкальное приложение, можно пойти по тому же пути, внедрив аудиобэкенд для WASAPI, ALSA и CoreAudio. На самом деле, это не так уж и сложно. Можно посмотреть полные исходники бипера, это примерно 100 строк кода для всех трех платформ.

Однако существует ряд хороших кроссплатформенных библиотек, таких как:

  • RtAudio + RtMidi (очень простой в использовании, один файл .cpp и .h)
  • PortAudio + PortMiidi (написано на C и она немного покрупнее), имеет множество различных бэкендов
  • SoundIO — замечательная маленькая библиотека от создателя Zig.

Некоторые предпочитают использовать JUCE для кроссплатформенных аудиоприложений, но у него есть свои ограничения.

Все описанное выше может показаться сложной задачей, при этом вариантов реализации много, и большинство из них — хорошие. Так что продолжайте пробовать!

Надеюсь, вам понравилась эта статья. Вы можете отслеживать новости и проекты на Github, в Twitter или подписывайтесь через rss.

© Habrahabr.ru