From c2ea6214a9ac1800250fdb071a472ea0d2e864c0 Mon Sep 17 00:00:00 2001 From: zwssunny Date: Mon, 27 Mar 2023 14:40:19 +0800 Subject: [PATCH] =?UTF-8?q?=E5=A2=9E=E5=8A=A0=E7=99=BE=E5=BA=A6=E8=AF=AD?= =?UTF-8?q?=E9=9F=B3=E8=AF=86=E5=88=AB?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- config.py | 111 ++++++++++++++++++++----------------- voice/baidu/baidu_voice.py | 41 +++++++++++++- 2 files changed, 97 insertions(+), 55 deletions(-) diff --git a/config.py b/config.py index cf67745..5732969 100644 --- a/config.py +++ b/config.py @@ -5,71 +5,76 @@ import os from common.log import logger # 将所有可用的配置项写在字典里, 请使用小写字母 -available_setting ={ - #openai api配置 - "open_ai_api_key": "", # openai api key - "open_ai_api_base": "https://api.openai.com/v1", # openai apibase，当use_azure_chatgpt为true时，需要设置对应的api base - "proxy": "", # openai使用的代理 - "model": "gpt-3.5-turbo", # chatgpt模型， 当use_azure_chatgpt为true时，其名称为Azure上model deployment名称 - "use_azure_chatgpt": False, # 是否使用azure的chatgpt - - #Bot触发配置 - "single_chat_prefix": ["bot", "@bot"], # 私聊时文本需要包含该前缀才能触发机器人回复 - "single_chat_reply_prefix": "[bot] ", # 私聊时自动回复的前缀，用于区分真人 - "group_chat_prefix": ["@bot"], # 群聊时包含该前缀则会触发机器人回复 - "group_chat_reply_prefix": "", # 群聊时自动回复的前缀 - "group_chat_keyword": [], # 群聊时包含该关键词则会触发机器人回复 - "group_at_off": False, # 是否关闭群聊时@bot的触发 - "group_name_white_list": ["ChatGPT测试群", "ChatGPT测试群2"], # 开启自动回复的群名称列表 - "group_name_keyword_white_list": [], # 开启自动回复的群名称关键词列表 - "group_chat_in_one_session": ["ChatGPT测试群"], # 支持会话上下文共享的群名称 - "image_create_prefix": ["画", "看", "找"], # 开启图片回复的前缀 - - #chatgpt会话参数 - "expires_in_seconds": 3600, # 无操作会话的过期时间 - "character_desc": "你是ChatGPT, 一个由OpenAI训练的大型语言模型, 你旨在回答并解决人们的任何问题，并且可以使用多种语言与人交流。", # 人格描述 - "conversation_max_tokens": 1000, # 支持上下文记忆的最多字符数 - - #chatgpt限流配置 - "rate_limit_chatgpt": 20, # chatgpt的调用频率限制 - "rate_limit_dalle": 50, # openai dalle的调用频率限制 - - - #chatgpt api参数 参考https://platform.openai.com/docs/api-reference/chat/create +available_setting = { + # openai api配置 + "open_ai_api_key": "", # openai api key + # openai apibase，当use_azure_chatgpt为true时，需要设置对应的api base + "open_ai_api_base": "https://api.openai.com/v1", + "proxy": "", # openai使用的代理 + # chatgpt模型， 当use_azure_chatgpt为true时，其名称为Azure上model deployment名称 + "model": "gpt-3.5-turbo", + "use_azure_chatgpt": False, # 是否使用azure的chatgpt + + # Bot触发配置 + "single_chat_prefix": ["bot", "@bot"], # 私聊时文本需要包含该前缀才能触发机器人回复 + "single_chat_reply_prefix": "[bot] ", # 私聊时自动回复的前缀，用于区分真人 + "group_chat_prefix": ["@bot"], # 群聊时包含该前缀则会触发机器人回复 + "group_chat_reply_prefix": "", # 群聊时自动回复的前缀 + "group_chat_keyword": [], # 群聊时包含该关键词则会触发机器人回复 + "group_at_off": False, # 是否关闭群聊时@bot的触发 + "group_name_white_list": ["ChatGPT测试群", "ChatGPT测试群2"], # 开启自动回复的群名称列表 + "group_name_keyword_white_list": [], # 开启自动回复的群名称关键词列表 + "group_chat_in_one_session": ["ChatGPT测试群"], # 支持会话上下文共享的群名称 + "image_create_prefix": ["画", "看", "找"], # 开启图片回复的前缀 + + # chatgpt会话参数 + "expires_in_seconds": 3600, # 无操作会话的过期时间 + "character_desc": "你是ChatGPT, 一个由OpenAI训练的大型语言模型, 你旨在回答并解决人们的任何问题，并且可以使用多种语言与人交流。", # 人格描述 + "conversation_max_tokens": 1000, # 支持上下文记忆的最多字符数 + + # chatgpt限流配置 + "rate_limit_chatgpt": 20, # chatgpt的调用频率限制 + "rate_limit_dalle": 50, # openai dalle的调用频率限制 + + + # chatgpt api参数 参考https://platform.openai.com/docs/api-reference/chat/create "temperature": 0.9, "top_p": 1, "frequency_penalty": 0, "presence_penalty": 0, - #语音设置 - "speech_recognition": False, # 是否开启语音识别 - "group_speech_recognition": False, # 是否开启群组语音识别 - "voice_reply_voice": False, # 是否使用语音回复语音，需要设置对应语音合成引擎的api key - "voice_to_text": "openai", # 语音识别引擎，支持openai和google - "text_to_voice": "baidu", # 语音合成引擎，支持baidu和google + # 语音设置 + "speech_recognition": False, # 是否开启语音识别 + "group_speech_recognition": False, # 是否开启群组语音识别 + "voice_reply_voice": False, # 是否使用语音回复语音，需要设置对应语音合成引擎的api key + "voice_to_text": "openai", # 语音识别引擎，支持openai和google + "text_to_voice": "baidu", # 语音合成引擎，支持baidu和google # baidu api的配置， 使用百度语音识别和语音合成时需要 - 'baidu_app_id': "", - 'baidu_api_key': "", - 'baidu_secret_key': "", + "baidu_app_id": "", + "baidu_api_key": "", + "baidu_secret_key": "", + # 1536普通话(支持简单的英文识别) 1737英语 1637粤语 1837四川话 1936普通话远场 + "baidu_dev_pid": "1536", - #服务时间限制，目前支持itchat - "chat_time_module": False, # 是否开启服务时间限制 - "chat_start_time": "00:00", # 服务开始时间 - "chat_stop_time": "24:00", # 服务结束时间 + # 服务时间限制，目前支持itchat + "chat_time_module": False, # 是否开启服务时间限制 + "chat_start_time": "00:00", # 服务开始时间 + "chat_stop_time": "24:00", # 服务结束时间 # itchat的配置 - "hot_reload": False, # 是否开启热重载 + "hot_reload": False, # 是否开启热重载 # wechaty的配置 - "wechaty_puppet_service_token": "", # wechaty的token + "wechaty_puppet_service_token": "", # wechaty的token # chatgpt指令自定义触发词 - "clear_memory_commands": ['#清除记忆'], # 重置会话指令 + "clear_memory_commands": ['#清除记忆'], # 重置会话指令 } + class Config(dict): def __getitem__(self, key): if key not in available_setting: @@ -82,15 +87,17 @@ class Config(dict): return super().__setitem__(key, value) def get(self, key, default=None): - try : + try: return self[key] except KeyError as e: return default except Exception as e: raise e - + + config = Config() + def load_config(): global config config_path = "./config.json" @@ -109,7 +116,8 @@ def load_config(): for name, value in os.environ.items(): name = name.lower() if name in available_setting: - logger.info("[INIT] override config by environ args: {}={}".format(name, value)) + logger.info( + "[INIT] override config by environ args: {}={}".format(name, value)) try: config[name] = eval(value) except: @@ -118,9 +126,8 @@ def load_config(): logger.info("[INIT] load config: {}".format(config)) - def get_root(): - return os.path.dirname(os.path.abspath( __file__ )) + return os.path.dirname(os.path.abspath(__file__)) def read_file(path): diff --git a/voice/baidu/baidu_voice.py b/voice/baidu/baidu_voice.py index 531d8ce..73375bd 100644 --- a/voice/baidu/baidu_voice.py +++ b/voice/baidu/baidu_voice.py @@ -8,19 +8,53 @@ from bridge.reply import Reply, ReplyType from common.log import logger from common.tmp_dir import TmpDir from voice.voice import Voice +from voice.audio_convert import get_pcm_from_wav from config import conf +""" + 百度的语音识别API. + dev_pid: + - 1936: 普通话远场 + - 1536：普通话(支持简单的英文识别) + - 1537：普通话(纯中文识别) + - 1737：英语 + - 1637：粤语 + - 1837：四川话 + 要使用本模块, 首先到 yuyin.baidu.com 注册一个开发者账号, + 之后创建一个新应用, 然后在应用管理的"查看key"中获得 API Key 和 Secret Key + 填入 config.json 中. + baidu_app_id: '' + baidu_api_key: '' + baidu_secret_key: '' + baidu_dev_pid: '1536' +""" + class BaiduVoice(Voice): APP_ID = conf().get('baidu_app_id') API_KEY = conf().get('baidu_api_key') SECRET_KEY = conf().get('baidu_secret_key') + DEV_ID = conf().get('baidu_dev_pid') client = AipSpeech(APP_ID, API_KEY, SECRET_KEY) - + def __init__(self): pass def voiceToText(self, voice_file): - pass + # 识别本地文件 + logger.debug('[Baidu] voice file name={}'.format(voice_file)) + pcm = get_pcm_from_wav(voice_file) + res = self.client.asr(pcm, "pcm", 16000, {"dev_pid": self.DEV_ID}) + if res["err_no"] == 0: + logger.info("百度语音识别到了：{}".format(res["result"])) + text = "".join(res["result"]) + reply = Reply(ReplyType.TEXT, text) + else: + logger.info("百度语音识别出错了: {}".format(res["err_msg"])) + if res["err_msg"] == "request pv too much": + logger.info(" 出现这个原因很可能是你的百度语音服务调用量超出限制，或未开通付费") + reply = Reply(ReplyType.ERROR, + "百度语音识别出错了；{0}".format(res["err_msg"])) + return reply def textToVoice(self, text): result = self.client.synthesis(text, 'zh', 1, { @@ -30,7 +64,8 @@ class BaiduVoice(Voice): fileName = TmpDir().path() + '语音回复_' + str(int(time.time())) + '.mp3' with open(fileName, 'wb') as f: f.write(result) - logger.info('[Baidu] textToVoice text={} voice file name={}'.format(text, fileName)) + logger.info( + '[Baidu] textToVoice text={} voice file name={}'.format(text, fileName)) reply = Reply(ReplyType.VOICE, fileName) else: logger.error('[Baidu] textToVoice error={}'.format(result))