[Из песочницы] Голосовое управление компьютером и Python
Начитавшись разных постов о Google Voice и его использовании, решил написать что-то свое. А именно — голосовое управление компьютером. Сразу оговорюсь, что ОС — Windows.Нам понадобится:
— Python 2.7
— библиотеки:
pyaudio
pycurl
pywin32
+ набор стандартных библиотек
— какой-либо аудиоконвертер поддерживающий flac и wav, а также работу из командной строки, я использовал этот.
Как это работает
Мы записываем аудиофайл, отправляем Google Voice-у, получаем ответ в виде:
{«status»:0, «id»:»5e34348f2887c7a3cc27dc3695ab4575–1», «hypotheses»:[{«utterance»: «пример», «confidence»:0.7581704}]},
и далее его обрабатываем, также научим компьютер «разговаривать», с помощью того-же Google Voice.Начинаем
Для начала нам необходимо подключить все модули, чтобы потом к этому не возвращаться:
import time, pyaudio, wave, os, urllib,urllib2,pycurl,httplib,sys,win32api,win32con,string
from ctypes import *
Окей, теперь напишем функцию Talk, которая позволит компьютеру разговаривать с нами.
def Talk(text):
def downloadFile(url, fileName):
fp = open(fileName, "wb")
curl = pycurl.Curl()
curl.setopt(pycurl.URL, url)
curl.setopt(pycurl.WRITEDATA, fp)
curl.perform()
curl.close()
fp.close()
def getGoogleSpeechURL(phrase):
googleTranslateURL = "http://translate.google.com/translate_tts?tl=en&"
parameters = {'q': phrase}
data = urllib.urlencode(parameters)
googleTranslateURL = "%s%s" % (googleTranslateURL,data)
return googleTranslateURL
def speakSpeechFromText(phrase):
googleSpeechURL = getGoogleSpeechURL(phrase)
downloadFile(googleSpeechURL,"ans.mp3")#файл, полученный с сервера сохраняется под именем ans.mp3
speakSpeechFromText(text)
#используем кодеки, чтобы воспроизвести речь
winmm = windll.winmm
winmm.mciSendStringA('Open "ans.mp3" Type MPEGVideo Alias theMP3',0,0,0)
winmm.mciSendStringA('Play theMP3 Wait',0,0,0)
winmm.mciSendStringA("Close theMP3","",0,0)
В общем, получаем функцию Talk (text), которая соответственно «говорит» нам text.
Кодеки были единственным решением, которое позволило мне воспроизвести mp3 из Python.
Ах, да, еще Google общается с нами исключительно на английском (и воспринимает только англ.), т.к мне не удалось подружить Python и utf-8.
Запись
Следующий шаг — запись речи, которую будет обрабатывать Google. Смело копипастим:
def Record():
CHUNK = 1024
FORMAT = pyaudio.paInt16
CHANNELS = 2
RATE = 16000
RECORD_SECONDS = 5
WAVE_OUTPUT_FILENAME = "output.wav"
p = pyaudio.PyAudio()
stream = p.open(format=FORMAT,
channels=CHANNELS,
rate=RATE,
input=True,
frames_per_buffer=CHUNK)
print("Recording...")
frames = []
for i in range(0, int(RATE / CHUNK * RECORD_SECONDS)):
data = stream.read(CHUNK)
frames.append(data)
print("Done recording.")
stream.stop_stream()
stream.close()
p.terminate()
wf = wave.open(WAVE_OUTPUT_FILENAME, 'wb')
wf.setnchannels(CHANNELS)
wf.setsampwidth(p.get_sample_size(FORMAT))
wf.setframerate(RATE)
wf.writeframes(b''.join(frames))
wf.close()
Этот код находится на сайте pyaudio и я его оставил практически без изменений.
Но, вот и первая проблема, мы получили файл wav, а Google понимает flac… Непорядок.
Здесь нас выручит конверетер и модуль os:
def Convert():
print "Converting"
os.system('C:\Users\Егор\Desktop\Расширение\TotalAudioConverter\AudioConverter.exe C:\Users\Егор\Desktop\Расширение\output.wav C:\Users\Егор\Desktop\Расширение\output.flac')
print "Done"
Здесь поясню, мы указываем путь к установленному конвертеру, а затем в качестве параметров передаем сначала входной файл, затем выходной (пути указывать полностью).Посылаем нашу запись на сервер
def Send():
global ANSWER
url = 'https://www.google.com/speech-api/v1/recognize?xjerr=1&client=chromium&lang=en-EN'#Здесь можно выбрать язык
flac=open('output.flac',"rb").read()
header = {'Content-Type' : 'audio/x-flac; rate=16000'}
req = urllib2.Request(url, flac, header)
data = urllib2.urlopen(req)
a = data.read()
ANSWER = eval(a)
if ANSWER['status'] == 5:
print 'Sorry, I do not understand you.'
Talk('Sorry, I do not understand you.')
ANSWER = 0
else:
ANSWER = ANSWER['hypotheses'][0]['utterance']#Отбираем то что google нам ответил(можно иначе)
print ANSWER
os.remove('C:\Users\Егор\Desktop\Расширение\output.wav')#Удаляем ненужные записи
os.remove('C:\Users\Егор\Desktop\Расширение\output.flac')
return ANSWER
Обработка
Получив ответ, мы можем ее использовать. Здесь все зависит исключительно от вашей фантазии.
Просто приведу несколько примеров:
def Processing():
global ANSWER
if ANSWER == 0:
return 0
elif 'chrome' in ANSWER.lower():
os.system('C:\Users\Егор\AppData\Local\Google\Chrome\Application\chrome.exe')#Запускаем Google Chrome, если он услышал слово chrome)
elif 'skype' in ANSWER.lower():
os.system('C:\Users\Егор\Downloads\SkypePortable\SkypePortable.exe')#аналогично
elif 'cd rom' in ANSWER.lower() or\
'cd-rom' in ANSWER.lower() or\
'open d' in ANSWER.lower() or\
'dvd' in ANSWER.lower() or\
'dvd-rom' in ANSWER.lower() or\
'dvd rom' in ANSWER.lower() or\
'cdrom' in ANSWER.lower() or\
'cd - rom' in ANSWER.lower():
winmm = windll.winmm
winmm.mciSendStringA("set cdaudio door open", "", 0,0)#Если слышит что- то связанное с dvd то открывает лоток дисковода
Также еще я добавил функцию, которая на указанное время останавливала выполнение программы, но там большой код и я не вижу смысла выкладывать его здесь, т.к польза от него стремится к нолю.Запускаем
После того, как мы описали эти функции, добавим следующий код:
print 'Hi, what do you want?'
Talk('Hi, what do you want?')
Record()
Convert()
print ('Sending...')
Send()
print 'Done'
Processing()
while True:
ANSWER = None
#Talk('Done.')
print 'Do you want something else? (Your command\No)'
Talk('Do you want something else??')
Record()
Convert()
print 'Sending...'
Send()
print 'Done'
#print ANSWER
if ANSWER == 0:
continue
if ANSWER.lower()== 'no' or\#Если ответили нет, завершаем программу
ANSWER.lower()== 'nope' or\
ANSWER.lower()== 'not' or\
ANSWER.lower()== 'nay':
break
else:
Processing()
print 'Okay, bye'
Talk('Okay, bye')
Готово!
На этом хотелось бы закончить. Я рад, если кому-то помог.
Спасибо за внимание.
