Транслируем звук по сети с помощью Java
Стало мне интересно поэкспериментировать с передачей звука по сети.Выбрал для этого технологию Java.В итоге написал три компоненты — передатчик для Java SE, приемник для Java SE и приемник для Android.В Java SE для работы со звуком использовались классы из пакета javax.sound.sampled, в Android — классы android.media.AudioFormat, android.media.AudioManager и android.media.AudioTrack.Для работы с сетью — стандартные Socket и ServerSocket.
С помощью этих компонент удалось успешно провести сеанс голосовой связи между Дальним Востоком России и Нидерландами.
И еще одно возможное применение — если установить виртуальную звуковую карту, например, Virtual Audio Cable, можно транслировать музыку на другие устройства, и, таким образом, слушать музыку одновременно в нескольких комнатах квартиры (при наличии соответствующего количества девайсов).
1. Передатчик.Способ трансляции звука тривиален — считываем поток байтов с микрофона, и записываем его в выходной поток сокета.
Работа с микрофоном и передача данных по сети происходит в отдельных потоках:
mr = new MicrophoneReader (); mr.start (); ServerSocket ss = new ServerSocket (7373); while (true) { Socket s = ss.accept (); Sender sndr = new Sender (s); senderList.add (sndr); sndr.start (); } Поток для работы с микрофоном:
public void run () { try { microphone = AudioSystem.getTargetDataLine (format); DataLine.Info info = new DataLine.Info (TargetDataLine.class, format); microphone = (TargetDataLine) AudioSystem.getLine (info); microphone.open (format); data = new byte[CHUNK_SIZE]; microphone.start (); while (! finishFlag) { synchronized (monitor) { if (senderNotReady==sendersCreated) { monitor.notifyAll (); continue; } numBytesRead = microphone.read (data, 0, CHUNK_SIZE); }
System.out.print («Microphone reader:»); System.out.print (numBytesRead); System.out.println (» bytes read»); } } catch (LineUnavailableException e) { e.printStackTrace (); } } UPD. Примечание: важно правильно подобрать параметр CHUNK_SIZE. При слишком малом значении будут слышны заикания, при слишком большом — становится заметной задержка звука.
Поток для передачи звука:
public void run () { try { OutputStream os = s.getOutputStream (); while (! finishFlag) { synchronized (monitor) { senderNotReady++; monitor.wait (); os.write (data, 0, numBytesRead); os.flush (); senderNotReady--; } System.out.print («Sender #»); System.out.print (senderNumber); System.out.print (»:»); System.out.print (numBytesRead); System.out.println (» bytes sent»); } } catch (Exception e) { e.printStackTrace (); } } Оба класса потоков — вложенные, переменные внешнего класса data, numBytesRead, senderNotReady, sendersCreated и monitor должны быть объявлены как volatile.Объект monitor используется для синхронизации потоков.
2. Приемник для Java SE. Способ так же тривиален — считываем поток байтов из сокета, и записываем в аудиовыход.
try { InetAddress ipAddr = InetAddress.getByName (host); Socket s = new Socket (ipAddr, 7373); InputStream is = s.getInputStream (); DataLine.Info dataLineInfo = new DataLine.Info (SourceDataLine.class, format); speakers = (SourceDataLine) AudioSystem.getLine (dataLineInfo); speakers.open (format); speakers.start (); Scanner sc = new Scanner (System.in); int numBytesRead; byte[] data = new byte[204800]; while (true) { numBytesRead = is.read (data); speakers.write (data, 0, numBytesRead); } } catch (Exception e) { e.printStackTrace (); } 3. Приемник для Android. Способ тот же самый.Единственное отличие — вместо javax.sound.sampled.SourceDataLine используем android.media.AudioTrack.Так же нужно учесть, что в Android работы с сетью не может происходить в основном потоке выполнения приложения.С созданием сервисов решил не заморачиваться, запускать рабочий поток будем из основной Activity.
toogle.setOnClickListener (new View.OnClickListener () { @Override public void onClick (View v) { if (! isRunning) { isRunning = true; toogle.setText («Stop»); rp = new ReceiverPlayer (hostname.getText ().toString ()); rp.start (); } else { toogle.setText («Start»); isRunning = false; rp.setFinishFlag (); } } }); Код самого рабочего потока:
class ReceiverPlayer extends Thread { volatile boolean finishFlag; String host; public ReceiverPlayer (String hostname) { host = hostname; finishFlag = false; } public void setFinishFlag () { finishFlag = true; } public void run () { try { InetAddress ipAddr = InetAddress.getByName (host); Socket s = new Socket (ipAddr, 7373); InputStream is = s.getInputStream (); int bufferSize = AudioTrack.getMinBufferSize (16000, AudioFormat.CHANNEL_OUT_STEREO, AudioFormat.ENCODING_PCM_16BIT); int numBytesRead; byte[] data = new byte[bufferSize]; AudioTrack aTrack = new AudioTrack (AudioManager.STREAM_MUSIC, 16000, AudioFormat.CHANNEL_OUT_STEREO, AudioFormat.ENCODING_PCM_16BIT, bufferSize, AudioTrack.MODE_STREAM); aTrack.play (); while (! finishFlag) { numBytesRead = is.read (data, 0, bufferSize); aTrack.write (data, 0, numBytesRead); } aTrack.stop (); s.close (); } catch (Exception e) { StringWriter sw = new StringWriter (); PrintWriter pw = new PrintWriter (sw); e.printStackTrace (pw); Log.e («Error», sw.toString ()); } } } 4. Примечание о форматах аудио. В Java SE используется класс javax.sound.sampled.AudioFormat.
В Android — параметры аудио передаются напрямую в конструктор объекта android.media.AudioTrack.
Рассмотрим конструкторы этих классов, которые использовались в моем коде.
Java SE:
AudioFormat (float sampleRate, int sampleSizeInBits, int channels, boolean signed, boolean bigEndian)Constructs an AudioFormat with a linear PCM encoding and the given parameters.
Android:
AudioTrack (int streamType, int sampleRateInHz, int channelConfig, int audioFormat, int bufferSizeInBytes, int mode).
Для успешного воспроизведения параметры приемника и передатчика sampleRate/sampleRate, sampleSizeInBits/audioFormat и channels/channelConfig должны соответствовать друг другу.
Помимо этого, значение mode для Android нужно установить в AudioTrack.MODE_STREAM.
Так же, экспериментально удалось установить, что для успешного воспроизведения на Android нужно передавать данные в формате signed little endian, то есть: signed = true; bigEndian = false.
В итоге были выбраны следующие форматы:
// Java SE: AudioFormat format = new AudioFormat (16000.0f, 16, 2, true, bigEndian);
// Android: AudioTrack aTrack = new AudioTrack (AudioManager.STREAM_MUSIC, 16000, AudioFormat.CHANNEL_OUT_STEREO, AudioFormat.ENCODING_PCM_16BIT, bufferSize, AudioTrack.MODE_STREAM); 5. Тестирование. Между ноутбуком на Windows 8 и десктопом на Debian Wheezy все завелось сразу без проблем.
Приемник на Android изначально издавал лишь шум, но эта проблема устранилась после правильного подбора параметров signed и bigEndian для формата аудио.
На Raspberry Pi (Raspbian Wheezy) изначально были слышны заикания — понадобились костыли в виде установки легковесной виртуальной java-машины avian.
Написал следующий скрипт запуска:
case »$1» in start) java -avian -jar jAudioReceiver.jar 192.168.1.50 & echo «kill -KILL $!»>kill_receiver.sh ;; stop) ./kill_receiver.sh ;; esac Исходные коды всех компонент здесь:
github.com/tabatsky/jatx/tree/master/NetworkingAudio
