三文带你轻松上手鸿蒙的AI语音01-及时语音识别

刘俊凯  金牌会员 | 2024-10-8 19:06:13 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 830|帖子 830|积分 2492

三文带你轻松上手鸿蒙的AI语音01-及时语音识别

媒介

HarmonyOSNext中集成了强盛的AI功能。Core Speech Kit（基础语音服务）是它提供的浩繁AI功能中的一种。
Core Speech Kit（基础语音服务）集成了语音类基础AI能力，包括文本转语音（TextToSpeech）及语音识别（SpeechRecognizer）能
力，便于用户与设备进行互动，实现将及时输入的语音与文本之间相互转换。
简单来讲Core Speech Kit主要提供了两大语音AI功能：

  • 语音识别
  • 文本转语音
语音识别介绍

语音识别功能可以将一段音频信息（短语音模式不超过60s，长语音模式不超过8h）转换为文本。
此中语音识别又可以实现：

  • 及时语音转文本
  • 声音文件转文本
及时语音转文本

实现流程

先介绍语音识别的流程，后面的笔墨转语音大同小异

  • 申请权限
  • 创建AI语音引擎
  • 设置监听回调
  • 开始监听
   tips: 完备代码在每一个功能的末尾，可以结合封装后的代码来阅读
  申请权限


因为在开辟功能过程中，必要调用手机的麦克风功能。所以必要自动申请权限。

申请权限分成3个步骤

  • 声明权限
  • 查抄是否拥有权限
  • 申请权限
声明权限


  • 在\entry\src\main\module.json5中添加以下设置代码 requestPermissions
    1. {
    2.   "module": {
    3.     ...
    4.     "requestPermissions": [
    5.       {
    6.         "name": "ohos.permission.MICROPHONE",
    7.         "reason": "$string:voice_reason",
    8.         "usedScene": {
    9.           "abilities": [
    10.             "FormAbility"
    11.           ],
    12.           "when": "always"
    13.         }
    14.       }
    15.     ],
    16.   }
    17. }
    复制代码
  • 在\entry\src\main\resources\base\element\string.json 添加 申请原因 voice_reason
    1. {
    2.   "string": [
    3.     {
    4.       "name": "module_desc",
    5.       "value": "module description"
    6.     },
    7.     {
    8.       "name": "EntryAbility_desc",
    9.       "value": "description"
    10.     },
    11.     {
    12.       "name": "EntryAbility_label",
    13.       "value": "label"
    14.     },
    15.     {
    16.       "name": "voice_reason",
    17.       "value": "用于获取用户的录音"
    18.     }
    19.   ]
    20. }
    复制代码
查抄权限

实际开辟中，我们在申请权限之前可以先调用接口checkAccessTokenSync，查抄下是否已经拥有权限。假如没有，则自动申请权限
申请权限

当我们必要申请某个功能的权限时，可以通过调用 requestPermissionsFromUser 来实现
封装好的权限代码

因为HarmonyOSNext中关于权限的代码，都是没有颠末封装的，难以使用。所以这里提供了封装好的版本。
没有封装过的示例代码：

封装好的代码
entry\src\main\ets\utils\permissionMananger.ets
  1. // 导入必要的模块，包括权限管理相关的功能
  2. import { abilityAccessCtrl, bundleManager, common, Permissions } from '@kit.AbilityKit';
  4. export class PermissionManager {
  5.   // 静态方法用于检查给定的权限是否已经被授予
  6.   static checkPermission(permissions: Permissions[]): boolean {
  7.     // 创建一个访问令牌管理器实例
  8.     let atManager: abilityAccessCtrl.AtManager = abilityAccessCtrl.createAtManager();
  9.     // 初始化tokenID为0，稍后将获取真实的tokenID
  10.     let tokenID: number = 0;
  12.     // 获取本应用的包信息
  13.     const bundleInfo =
  14.       bundleManager.getBundleInfoForSelfSync(bundleManager.BundleFlag.GET_BUNDLE_INFO_WITH_APPLICATION);
  16.     // 设置tokenID为应用的访问令牌ID
  17.     tokenID = bundleInfo.appInfo.accessTokenId;
  19.     // 如果没有传入任何权限，则返回false表示没有权限
  20.     if (permissions.length === 0) {
  21.       return false;
  22.     } else {
  23.       // 检查所有请求的权限是否都被授予
  24.       return permissions.every(permission =>
  25.       abilityAccessCtrl.GrantStatus.PERMISSION_GRANTED ===
  26.       atManager.checkAccessTokenSync(tokenID, permission)
  27.       );
  28.     }
  29.   }
  31.   // 异步静态方法用于请求用户授权指定的权限
  32.   static async requestPermission(permissions: Permissions[]): Promise<boolean> {
  33.     // 创建一个访问令牌管理器实例
  34.     let atManager: abilityAccessCtrl.AtManager = abilityAccessCtrl.createAtManager();
  36.     // 获取上下文（这里假设getContext是一个可以获取到UI能力上下文的方法）
  37.     let context: Context = getContext() as common.UIAbilityContext;
  39.     // 请求用户授权指定的权限
  40.     const result = await atManager.requestPermissionsFromUser(context, permissions);
  42.     // 检查请求结果是否成功（authResults数组中每个元素都应该是0，表示成功）
  43.     return !!result.authResults.length && result.authResults.every(authResults => authResults === 0);
  44.   }
  45. }
复制代码
页面中使用权限代码

Index.ets
  1. import { PermissionManager } from '../utils/permissionMananger'
  2. import { Permissions } from '@kit.AbilityKit'
  4. @Entry
  5. @Component
  6. struct Index {
  7.   // 1 申请权限
  8.   fn1 = async () => {
  9.     // 准备好需要申请的权限 麦克风权限
  10.     const permissions: Permissions[] = ["ohos.permission.MICROPHONE"]
  11.     // 检查是否拥有权限
  12.     const isPermission = await PermissionManager.checkPermission(permissions)
  13.     if (!isPermission) {
  14.       //   如果没权限，就主动申请
  15.       PermissionManager.requestPermission(permissions)
  16.     }
  17.   }
  19.   build() {
  20.     Column() {
  21.       Button("申请权限")
  22.         .onClick(this.fn1)
  23.     }
  24.     .width("100%")
  25.     .height("100%")
  26.     .justifyContent(FlexAlign.Center)
  27.   }
  28. }
复制代码

及时语音识别相关步骤

   以下主要实现及时语音识别
  创建AI语音引擎

创建AI语音引擎主要有以下几个步骤

  • 声明AI语音引擎设置参数，主要有语种、地域信息等

  • 调用开始创建 createEngine 方法开始创建，而且返回 AI语音实例引擎
设置AI语音监听回调

在开始语音识别之前，必要先设置语音识别回调 setListener 。它主要有以下几个分类

  • 开始识别回调
  • 变乱回调
  • 识别结果回调
  • 识别完成回调
  • 识别错误回调

开始监听及时语音

必要先设置监听的参数，便可以调用startListening实现语音识别了
参数设置 此中，及时语音识别和语音文件识别的主要设置在 recognitionMode 字段， 0 体现及时语音识别

封装好的语音识别代码

\entry\src\main\ets\utils\SpeechRecognizerManager.ets
  1. import { speechRecognizer } from '@kit.CoreSpeechKit';
  4. class SpeechRecognizerManager {
  5.   /**
  6.    * 语种信息
  7.    * 语音模式：长
  8.    */
  9.   private static extraParam: Record<string, Object> = { "locate": "CN", "recognizerMode": "long" };
  10.   private static initParamsInfo: speechRecognizer.CreateEngineParams = {
  11.     /**
  12.      * 地区信息
  13.      * */
  14.     language: 'zh-CN',
  15.     /**
  16.      * 离线模式：1
  17.      */
  18.     online: 1,
  19.     extraParams: this.extraParam
  20.   };
  21.   /**
  22.    * 引擎
  23.    */
  24.   private static asrEngine: speechRecognizer.SpeechRecognitionEngine | null = null
  25.   /**
  26.    * 录音结果
  27.    */
  28.   static speechResult: speechRecognizer.SpeechRecognitionResult | null = null
  29.   /**
  30.    * 会话ID
  31.    */
  32.   private static sessionId: string = "asr" + Date.now()
  34.   /**
  35.    * 创建引擎
  36.    */
  37.   private static async createEngine() {
  38.     // 设置创建引擎参数
  39.     SpeechRecognizerManager.asrEngine = await speechRecognizer.createEngine(SpeechRecognizerManager.initParamsInfo)
  40.   }
  42.   /**
  43.    * 设置回调
  44.    */
  45.   private static setListener(callback: (srr: speechRecognizer.SpeechRecognitionResult) => void = () => {
  46.   }) {
  47.     // 创建回调对象
  48.     let setListener: speechRecognizer.RecognitionListener = {
  49.       // 开始识别成功回调
  50.       onStart(sessionId: string, eventMessage: string) {
  51.       },
  52.       // 事件回调
  53.       onEvent(sessionId: string, eventCode: number, eventMessage: string) {
  54.       },
  55.       // 识别结果回调，包括中间结果和最终结果
  56.       onResult(sessionId: string, result: speechRecognizer.SpeechRecognitionResult) {
  57.         SpeechRecognizerManager.speechResult = result
  58.         callback && callback(result)
  59.       },
  60.       // 识别完成回调
  61.       onComplete(sessionId: string, eventMessage: string) {
  62.       },
  63.       // 错误回调，错误码通过本方法返回
  64.       // 如：返回错误码1002200006，识别引擎正忙，引擎正在识别中
  65.       // 更多错误码请参考错误码参考
  66.       onError(sessionId: string, errorCode: number, errorMessage: string) {
  67.       },
  68.     }
  69.     // 设置回调
  70.     SpeechRecognizerManager.asrEngine?.setListener(setListener);
  71.   }
  73.   /**
  74.    * 开始监听
  75.    * */
  76.   static startListening() {
  77.     // 设置开始识别的相关参数
  78.     let recognizerParams: speechRecognizer.StartParams = {
  79.       // 会话id
  80.       sessionId: SpeechRecognizerManager.sessionId,
  81.       // 音频配置信息。
  82.       audioInfo: {
  83.         // 音频类型。 当前仅支持“pcm”
  84.         audioType: 'pcm',
  85.         // 音频的采样率。 当前仅支持16000采样率
  86.         sampleRate: 16000,
  87.         // 音频返回的通道数信息。 当前仅支持通道1。
  88.         soundChannel: 1,
  89.         // 音频返回的采样位数。 当前仅支持16位
  90.         sampleBit: 16
  91.       },
  92.       //   录音识别
  93.       extraParams: {
  94.         // 0:实时录音识别  会自动打开麦克风 录制实时语音
  95.         "recognitionMode": 0,
  96.         //   最大支持音频时长
  97.         maxAudioDuration: 60000
  98.       }
  99.     }
  100.     // 调用开始识别方法
  101.     SpeechRecognizerManager.asrEngine?.startListening(recognizerParams);
  102.   };
  104.   /**
  105.    * 取消识别
  106.    */
  107.   static cancel() {
  108.     SpeechRecognizerManager.asrEngine?.cancel(SpeechRecognizerManager.sessionId)
  109.   }
  111.   /**
  112.    * 释放ai语音转文字引擎
  113.    */
  114.   static shutDown() {
  115.     SpeechRecognizerManager.asrEngine?.shutdown()
  116.   }
  118.   /**
  119.    * 停止并且释放资源
  120.    */
  121.   static async release() {
  122.     SpeechRecognizerManager.cancel()
  123.     SpeechRecognizerManager.shutDown()
  125.   }
  127.   /**
  128.    * 初始化ai语音转文字引擎
  129.    */
  130.   static async init(callback: (srr: speechRecognizer.SpeechRecognitionResult) => void = () => {
  131.   }) {
  132.     await SpeechRecognizerManager.createEngine()
  133.     SpeechRecognizerManager.setListener(callback)
  134.     SpeechRecognizerManager.startListening()
  135.   }
  136. }
  138. export default SpeechRecognizerManager
复制代码
页面中调用语音识别代码

  1. import { PermissionManager } from '../utils/permissionMananger'
  2. import { Permissions } from '@kit.AbilityKit'
  3. import SpeechRecognizerManager from '../utils/SpeechRecognizerManager'
  5. @Entry
  6. @Component
  7. struct Index {
  8.   @State
  9.   text: string = ""
  10.   // 1 申请权限
  11.   fn1 = async () => {
  12.     // 准备好需要申请的权限 麦克风权限
  13.     const permissions: Permissions[] = ["ohos.permission.MICROPHONE"]
  14.     // 检查是否拥有权限
  15.     const isPermission = await PermissionManager.checkPermission(permissions)
  16.     if (!isPermission) {
  17.       //   如果没权限，就主动申请
  18.       PermissionManager.requestPermission(permissions)
  19.     }
  20.   }
  21.   // 2 实时语音识别
  22.   fn2 = () => {
  23.     SpeechRecognizerManager.init(res => {
  24.       console.log("实时语音识别", JSON.stringify(res))
  25.       this.text = res.result
  26.     })
  27.   }
  29.   build() {
  30.     Column({ space: 10 }) {
  31.       Text(this.text)
  33.       Button("申请权限")
  34.         .onClick(this.fn1)
  35.       Button("实时语音识别")
  36.         .onClick(this.fn2)
  37.     }
  38.     .width("100%")
  39.     .height("100%")
  40.     .justifyContent(FlexAlign.Center)
  41.   }
  42. }
复制代码

语音识别结果分析

语音识别成功后的数据格式如下
  1. 实时语音识别 {"isFinal":false,"isLast":false,"result":"是"}
  2. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否"}
  3. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否"}
  4. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否"}
  5. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给"}
  6. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给"}
  7. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你"}
  8. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你"}
  9. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你"}
  10. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你"}
  11. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你"}
  12. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你"}
  13. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承"}
  14. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承"}
  15. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺"}
  16. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺"}
  17. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的"}
  18. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的"}
  19. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的"}
  20. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的"}
  21. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的"}
  22. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的太"}
  23. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的太多"}
  24. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的太多"}
  25. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的太多"}
  26. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的太多"}
  27. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的太多"}
  28. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的太多"}
  29. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的太多"}
  30. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的太多"}
  31. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的太多"}
  32. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的太多"}
  33. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的太多"}
  34. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的太多"}
  35. I     实时语音识别 {"isFinal":false,"isLast":false,"result":"是否给你承诺的太多"}
  36. I     实时语音识别 {"isFinal":true,"isLast":false,"result":"是否给你承诺的太多？"}
  37. I     实时语音识别 {"isFinal":false,"isLast":false,"result":""}
复制代码
此中必要关注的是：

  • 识别功能是持续触发的，当收集到声音时持续触发
  • isFinal 体现一个句子是否结束

  • isLast 体现这一次语音识别是否结束
总结

HarmonyOSNext中集成了强盛的AI功能。Core Speech Kit（基础语音服务）是它提供的浩繁AI功能中的一种。
Core Speech Kit（基础语音服务）集成了语音类基础AI能力，包括文本转语音（TextToSpeech）及语音识别（SpeechRecognizer）能
力，便于用户与设备进行互动，实现将及时输入的语音与文本之间相互转换。
简单来讲Core Speech Kit主要提供了两大语音AI功能：

  • 语音识别
  • 文本转语音
此中语音识别又可以实现：

  • 及时语音转文本
  • 声音文件转文本
本文主要实现了 及时语音转文本 ， 声音文件转文本 将会在下文解说。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

刘俊凯

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表