梦应逍遥 发表于 2024-12-22 03:40:03

实操给桌面呆板人加上超拟人音色

前面我们讲了怎么用CSK6大模型开发板做一个桌面呆板人充当AI语音助理,近期上线超拟人方案,不仅大模型语音最快可以1秒内回复,还可以让我们的桌面呆板人使用超拟人音色、具备声纹识别等能力,本文以csk6大模型开发板为例实操怎么把超拟人音色用起来。
   演示视频:
   
         超拟人语音极速回复演示视频
      硬件准备

   
[*]起首在CSK6大模型开发板上使用超拟人
   https://i-blog.csdnimg.cn/direct/e1e52abb1c904765944734e79a28da5a.png
   
           2.加载乐成后的待机界面
   https://i-blog.csdnimg.cn/direct/5ee6a0ba8b0a4e5a9975baa47bfcb7b6.png
   
   大模型处理流程配置

   
[*]登陆聆思平台(LSPlatform)平台,点击应用模板中心,在定制开发标签下选择超拟人极速语音交互模板点击添加应用按钮。给应用命名后点击确认创建应用。
   https://i-blog.csdnimg.cn/direct/b248214bb8aa441f97f9789e4eaa4e40.png
   
            2.完成创建后找到刚创建的应用,点击编排应用进入可视化应用编排界面
   https://i-blog.csdnimg.cn/direct/0e920f48915547539521f091e285ceb1.png
   
           3.在编排界面可以看到对应节点,整套流程包罗快速相应、声纹识别、知识库问答、兜底闲聊、超拟人TTS等功能
   https://i-blog.csdnimg.cn/direct/5d05f6cd39914efbba8bcc74152f6669.png
   流程解析如下:
   a)用户发起交互后,会进行ASR语音转笔墨和声纹识别,当前声纹能力支持成年人男女、儿童男女四种身份识别,模型能基于不同身份分析提供不同的个性化回复。
   b)完成识别后,若产品有配置知识库,会优先基于知识库问题匹配阈值,大于阈值则优先基于知识库内容问答,小于阈值再进入意图分类。
   c)流程中提供了落域、改写、拆解模型,进行意图处理,意图分类后将进入对应流程。
   d)如对话意图属于天气、计算器、日期查询等AIUI技能,则会落域到AIUI链路,进行技能回复。
   e)如对话意图属于闲聊、开放性问答、搜刮意图,则会进入大模型调用链路。末了通过一系列系统决策,进行超拟人合成。
   
            4.如果要更换发音人,可以在【发音人配置】节点进行调整,对应的音色配置参数如下
    音色
发音人参数
成人女声
x4_lingxiaoyue_oral
成人女声
x4_lingxiaoqi_oral
成人男生
x4_lingfeizhe_oral
儿童女声
x4_lingyouyou_oral
   
            5.如要挂载自建大模型知识库,可以在【知识库召回配置】节点填入自建的知识库ID,
   (关于自建RAG知识库的方法可以参考前面发的实操三步接入RAG知识库的文章)
   https://i-blog.csdnimg.cn/direct/454b4fb7477044e597a43b9869377b20.png
   
           6.如要把AIUI平台的其他语音技能接入,可以在【AIUI配置】节点填入对应的信息
   https://i-blog.csdnimg.cn/direct/e5f40dca276841078022f21ce0ac76f7.png
   
   产品信息配置

   
[*]新建产品:在产品管理模块点击新建产品按钮,并按要求填写你的产品名称。
   https://i-blog.csdnimg.cn/direct/d1fd911320cd469c9e886784bb2abe82.png
           2.配置应用:把前面配置好的大模型流程关联到产品管理模块
   https://i-blog.csdnimg.cn/direct/1f87d3b269d04c90a21cbc2d4a4c5fd0.png
   
           3.开发板绑定云端产品ID
   1)装备ID(chip ID)是一个产品下的唯一装备标识,我们需要获取当前装备ID方便后续在云端配置,才能让装备鉴权通过实现端云交互。在屏幕上方下滑,进入以下操作:
   https://i-blog.csdnimg.cn/direct/af53270b388a4b20943883742a068f1c.png
   
   2)点击右下角扫码接入按钮调出相机,将 LSPlatform 待接入的产品二维码置于屏幕绿色扫描框内,完成扫描后,请在应用配置信息处查抄product_id和secret_id是否已更新:
   https://i-blog.csdnimg.cn/direct/187e3a6eb9ff4b00abb7e68355c684aa.png
   
           4.云端绑定:在【装备管理】页面添加装备ID
   https://i-blog.csdnimg.cn/direct/98e873cb407144299af6ee0700223df5.png
   
   测试/部署

   完成以上步调,验证乐成后即可正式发布。
   打开前文创建的应用,击部署生产,然后重启开发板即可。
   https://i-blog.csdnimg.cn/direct/68852c0c154444a2bb2e21cf73490255.png
   
   语音交互使用超拟人音色后,发音更靠近人类的语音表达和情绪交换能力,因此在更多场景中可以或许提供更好的用户体验,如智能客服、语音助手、有声阅读、陪伴呆板人等,可以或许人带来更加暖和、亲切、自然的交互感受,进一步拓展语音合成技术的应用范围和深度
   
   本文使用的聆思CSK6 大模型开发板详细信息可参考线上文档套件简介 | 聆思文档中心,解锁更多玩法、例如更换大模型、添加私有知识库、自定义流程、控制装备等请参考之前发布的博客,也可以私信、评论或在技术群交换。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: 实操给桌面呆板人加上超拟人音色