【开发语音助手】android 语音辨认、合成、唤醒 sherpa

前面先容了 android 部署大模子，下一步就是语音处置惩罚，这里我们选用 sherpa 开源项目部署语音辨认、合成、唤醒等模子。离线语音辨认库有whisper、kaldi、pocketshpinx等，在了解这些库的时间，发现了所谓“下一代Kaldi”的sherpa。从文档和模子名称看，它是一个很新的离线语音辨认库，支持中英双语辨认，文件和实时语音辨认。sherpa是一个基于下一代 Kaldi 和 onnxruntime 的开源项目，专注于语音辨认、文本转语音、说话人辨认和语音活动检测（VAD）等功能。该项目支持在没有互联网连接的情况下本地运行，实用于嵌入式系统、Android、iOS、Raspberry Pi、RISC-V 和 x86_64 服务器等多种平台。支持流式语音处置惩罚。
他有 ncnn、onnx 等平台的子项目：
https://github.com/k2-fsa/sherpa-onnx
https://github.com/k2-fsa/sherpa-ncnn
包罗的功能如下：

功能	形貌
实时语音辨认 (Streaming Speech Recognition)	在语音输入的同时举行处置惩罚和辨认，实用于必要即时反馈的场景，如会媾和语音助手。
非实时语音辨认 (Non-Streaming Speech Recognition)	在录制完毕后举行处置惩罚，适合必要高准确率的场景，如音频转写和文档天生。
文本转语音 (Text-to-Speech, TTS)	将文本内容转换为自然语音输出，广泛应用于语音助手和导航系统。
说话人分离 (Speaker Diarization)	辨认和区分音频流中的差别说话人，常用于集会记载和多说话人对话分析。
说话人辨认 (Speaker Identification)	确认说话者的身份，分析声纹特征并与数据库举行比对。
说话人验证 (Speaker Verification)	要求说话者提供声纹以确认身份，常用于安全性较高的场合，如银行系统。
口语语言辨认 (Spoken Language Identification)	辨认语音中使用的语言，帮助系统在多语言情况中主动切换语言。
音频标志 (Audio Tagging)	为音频内容添加标签，便于分类和搜刮，常用于音频库管理和内容推荐。
语音活动检测 (Voice Activity Detection, VAD)	检测音频流中是否存在语音活动，提拔语音辨认准确性并节流带宽和处置惩罚资源。
关键词检测 (Keyword Spotting)	辨认特定关键词或短语，常用于智能助手和语音控制装备，允许用户通过语音下令与装备交互。

官方参考文档：
https://k2-fsa.github.io/sherpa/onnx/index.html
1.编译

我这里使用 wsl 举行编译：
git clone https://github.com/k2-fsa/sherpa-onnx
cd sherpa-onnx
mkdir build
cd build
cmake -DCMAKE_BUILD_TYPE=Release ..
make -j6
对应的 target 如下，直接实行会有 usage说明：
add_executable(sherpa-onnx sherpa-onnx.cc)
add_executable(sherpa-onnx-keyword-spotter sherpa-onnx-keyword-spotter.cc)
add_executable(sherpa-onnx-offline sherpa-onnx-offline.cc)
add_executable(sherpa-onnx-offline-audio-tagging sherpa-onnx-offline-audio-tagging.cc)
add_executable(sherpa-onnx-offline-language-identification sherpa-onnx-offline-language-identification.cc)
add_executable(sherpa-onnx-offline-parallel sherpa-onnx-offline-parallel.cc)
add_executable(sherpa-onnx-offline-punctuation sherpa-onnx-offline-punctuation.cc)
add_executable(sherpa-onnx-online-punctuation sherpa-onnx-online-punctuation.cc)
add_executable(sherpa-onnx-offline-tts sherpa-onnx-offline-tts.cc)
add_executable(sherpa-onnx-offline-speaker-diarization sherpa-onnx-offline-speaker-diarization.cc)
add_executable(sherpa-onnx-alsa sherpa-onnx-alsa.cc alsa.cc)
add_executable(sherpa-onnx-alsa-offline sherpa-onnx-alsa-offline.cc alsa.cc)
add_executable(sherpa-onnx-alsa-offline-audio-tagging sherpa-onnx-alsa-offline-audio-tagging.cc alsa.cc)
add_executable(sherpa-onnx-alsa-offline-speaker-identification sherpa-onnx-alsa-offline-speaker-identification.cc alsa.cc)
add_executable(sherpa-onnx-keyword-spotter-alsa sherpa-onnx-keyword-spotter-alsa.cc alsa.cc)
add_executable(sherpa-onnx-vad-alsa sherpa-onnx-vad-alsa.cc alsa.cc)
add_executable(sherpa-onnx-offline-tts-play-alsa sherpa-onnx-offline-tts-play-alsa.cc alsa-play.cc)
add_executable(sherpa-onnx-offline-tts-play sherpa-onnx-offline-tts-play.cc microphone.cc)
add_executable(sherpa-onnx-keyword-spotter-microphone sherpa-onnx-keyword-spotter-microphone.cc microphone.cc)
add_executable(sherpa-onnx-microphone sherpa-onnx-microphone.cc microphone.cc)
add_executable(sherpa-onnx-microphone-offline sherpa-onnx-microphone-offline.cc microphone.cc)
add_executable(sherpa-onnx-vad-microphone sherpa-onnx-vad-microphone.cc microphone.cc)
add_executable(sherpa-onnx-vad-microphone-offline-asr sherpa-onnx-vad-microphone-offline-asr.cc microphone.cc)
add_executable(sherpa-onnx-microphone-offline-speaker-identification sherpa-onnx-microphone-offline-speaker-identification.cc microphone.cc)
add_executable(sherpa-onnx-microphone-offline-audio-tagging sherpa-onnx-microphone-offline-audio-tagging.cc microphone.cc)
add_executable(sherpa-onnx-online-websocket-server online-websocket-server-impl.cc online-websocket-server.cc)
add_executable(sherpa-onnx-online-websocket-client online-websocket-client.cc)
add_executable(sherpa-onnx-offline-websocket-server offline-websocket-server-impl.cc offline-websocket-server.cc)
说明一下他的文档上模子名称内里包罗了模子系列、语种等。
(1) 比如使用 zipformer-ctc 模子举行语音辨认：
下载模子：
cd build
wget -q https://github.com/k2-fsa/sherpa-onnx/releases/download/asr-models/sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13.tar.bz2
tar xvf sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13.tar.bz2
rm -rf sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13.tar.bz2
输入模子和测试wav：
./bin/sherpa-onnx \
--debug=1 \
--zipformer2-ctc-model=./sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13/ctc-epoch-20-avg-1-chunk-16-left-128.int8.onnx \
--tokens=./sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13/tokens.txt \
./sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13/test_wavs/DEV_T0000000000.wav
辨认结果：
./sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13/test_wavs/DEV_T0000000000.wav
Elapsed seconds: 1.2, Real time factor (RTF): 0.21
对我做了先容那么我想说的是各人假如对我的研究感兴趣
{ "text": " 对我做了先容那么我想说的是各人假如对我的研究感兴趣", "tokens": [" 对", "我", "做", "了", "介", "绍", "那", "么", "我", "想", "说", "的", "是", "大", "家", "如", "果", "对", "我", "的", "研", "究", "感", "兴", "趣"], "timestamps": [0.00, 0.52, 0.76, 0.84, 1.04, 1.24, 1.96, 2.04, 2.24, 2.36, 2.56, 2.68, 2.80, 3.28, 3.40, 3.60, 3.72, 3.84, 3.96, 4.04, 4.16, 4.28, 4.36, 4.60, 4.76], "ys_probs": [], "lm_probs": [], "context_scores": [], "segment": 0, "words": [], "start_time": 0.00, "is_final": false}
 
(2) 以及 vits-melo-tts-zh_en 模子语音合成
这个模子是他唯逐一个支持中文双语TTS的模子，带 int8 量化版本。
下载模子：
cd build
wget https://github.com/k2-fsa/sherpa-onnx/releases/download/tts-models/vits-melo-tts-zh_en.tar.bz2
tar xvf vits-melo-tts-zh_en.tar.bz2
rm vits-melo-tts-zh_en.tar.bz2
输入文本天生语音：
./bin/sherpa-onnx-offline-tts \
  --vits-model=./vits-melo-tts-zh_en/model.onnx \
  --vits-lexicon=./vits-melo-tts-zh_en/lexicon.txt \
  --vits-tokens=./vits-melo-tts-zh_en/tokens.txt \
  --vits-dict-dir=./vits-melo-tts-zh_en/dict \
  --output-filename=./zh-en-0.wav \
  "This is a 中英文的 text to speech 测试例子。"
2.c-api

编译动态库：
cd sherpa-onnx
mkdir build-shared
cd build-shared
cmake -DSHERPA_ONNX_ENABLE_C_API=ON -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=ON  -DCMAKE_INSTALL_PREFIX=./ ..
make -j6
make install
编译乐成会有动态库、头文件、可实行文件路径：
bin、include、lib
 
下面是参考源码写的 tts、ars 测试代码：

2. #include "iostream"
3. #include "sherpa-onnx/c-api/c-api.h"
4. #include <cstring>
5. #include <stdlib.h>
7. // 读取文件到内存
8. static size_t ReadFile(const char *filename, const char **buffer_out) {
9.     FILE *file = fopen(filename, "r");
10.     if (file == NULL) {
11.         fprintf(stderr, "Failed to open %s\n", filename);
12.         return -1;
13.     }
14.     fseek(file, 0L, SEEK_END);
15.     long size = ftell(file);
16.     rewind(file);
17.     *buffer_out = static_cast<const char *>(malloc(size));
18.     if (*buffer_out == NULL) {
19.         fclose(file);
20.         fprintf(stderr, "Memory error\n");
21.         return -1;
22.     }
23.     size_t read_bytes = fread((void *)*buffer_out, 1, size, file);
24.     if (read_bytes != size) {
25.         printf("Errors occured in reading the file %s\n", filename);
26.         free((void *)*buffer_out);
27.         *buffer_out = NULL;
28.         fclose(file);
29.         return -1;
30.     }
31.     fclose(file);
32.     return read_bytes;
33. }
35. // 语音识别 asr
36. void asr_1(){
38.     std::cout << "sherpa-onnx asr demo" << std::endl;
40.     // 待测试 wav
41.     const char *wav_filename = "/mnt/d/work/workspace/sherpa-onnx/build/sherpa-onnx-nemo-streaming-fast-conformer-transducer-en-80ms/test_wavs/0.wav";
43.     // 模型下载：
44.     // https://github.com/k2-fsa/sherpa-onnx/releases/download/asr-models/sherpa-onnx-nemo-streaming-fast-conformer-transducer-en-80ms.tar.bz2
45.     // Transducer 是一种基于序列到序列（seq2seq）的模型，最常用于语音识别任务中。它的流式版本支持实时处理音频输入，并输出转录结果。
46.     // * 架构：包含编码器（encoder）、解码器（decoder）和联合网络（joiner）。编码器将音频特征转换为隐藏向量，解码器预测输出序列，联合网络将两者结合以生成最终的输出。
47.     // * 应用：适合实时语音识别，尤其是在边缘设备或嵌入式设备上。
48.     // * 优点：支持流式解码，能够逐帧处理音频输入，具有低延迟，适用于实时语音识别应用，如语音助手、语音控制等。
49.     const char *tokens_path = "/mnt/d/work/workspace/sherpa-onnx/build/sherpa-onnx-nemo-streaming-fast-conformer-transducer-en-80ms/tokens.txt";
50.     const char *encoder_path = "/mnt/d/work/workspace/sherpa-onnx/build/sherpa-onnx-nemo-streaming-fast-conformer-transducer-en-80ms/encoder.onnx";
51.     const char *decoder_path = "/mnt/d/work/workspace/sherpa-onnx/build/sherpa-onnx-nemo-streaming-fast-conformer-transducer-en-80ms/decoder.onnx";
52.     const char *joiner_path = "/mnt/d/work/workspace/sherpa-onnx/build/sherpa-onnx-nemo-streaming-fast-conformer-transducer-en-80ms/joiner.onnx";
54.     // 运行参数
55.     const char *provider = "cpu";
56.     int32_t num_threads = 1;
58.     // 设置配置
59.     SherpaOnnxOnlineRecognizerConfig config = {};
60.     config.model_config.tokens = tokens_path;       // 设定tokens路径
61.     config.model_config.transducer.encoder = encoder_path;  // 设定encoder路径
62.     config.model_config.transducer.decoder = decoder_path;  // 设定decoder路径
63.     config.model_config.transducer.joiner = joiner_path;    // 设定joiner路径
64.     config.model_config.num_threads = num_threads;  // 设置线程数
65.     config.model_config.provider = provider; // 使用CPU提供计算
66.     // 其他配置
67.     config.decoding_method = "greedy_search";
68.     config.max_active_paths = 4;
69.     config.feat_config.sample_rate = 16000; // 采样率
70.     config.feat_config.feature_dim = 80; // 输入特征 dmi
71.     config.enable_endpoint = 1;
72.     config.rule1_min_trailing_silence = 2.4;
73.     config.rule2_min_trailing_silence = 1.2;
74.     config.rule3_min_utterance_length = 300;
76.     // 创建 Sherpa ONNX 识别器
77.     const SherpaOnnxOnlineRecognizer *recognizer = SherpaOnnxCreateOnlineRecognizer(&config);
78.     const SherpaOnnxOnlineStream *stream = SherpaOnnxCreateOnlineStream(recognizer);
79.     // 模拟加载音频文件并进行解码
80.     const SherpaOnnxWave *wave = SherpaOnnxReadWave(wav_filename);
81.     if (wave == nullptr) {
82.         std::cerr << "Failed to read " << wav_filename << std::endl;
83.         return;
84.     }
85.     // 模拟流式解码
86.     int32_t N = 3200;  // 每次处理3200个样本
87.     int32_t k = 0;
88.     while (k < wave->num_samples) {
89.         int32_t start = k;
90.         int32_t end = (start + N > wave->num_samples) ? wave->num_samples : (start + N);
91.         k += N;
92.         // 处理音频流
93.         SherpaOnnxOnlineStreamAcceptWaveform(stream, wave->sample_rate, wave->samples + start, end - start);
94.         while (SherpaOnnxIsOnlineStreamReady(recognizer, stream)) {
95.             SherpaOnnxDecodeOnlineStream(recognizer, stream);
96.         }
97.         const SherpaOnnxOnlineRecognizerResult *result = SherpaOnnxGetOnlineStreamResult(recognizer, stream);
98.         if (strlen(result->text)) {
99.             std::cout << "Recognized Text: " << result->text << std::endl;
100.         }
101.         SherpaOnnxDestroyOnlineRecognizerResult(result);
102.     }
103.     // 清理资源
104.     SherpaOnnxFreeWave(wave);
105.     SherpaOnnxDestroyOnlineStream(stream);
106.     SherpaOnnxDestroyOnlineRecognizer(recognizer);
107.     std::cout << "Sherpa-ONNX Test Completed" << std::endl;
108. }
110. // 语音识别 asr
111. void asr_2(){
113.     // 模型下载：
114.     // 模型 Streaming zipformer2 CTC 的使用可以参考源码 streaming-ctc-buffered-tokens-c-api.c
115.     // https://github.com/k2-fsa/sherpa-onnx/releases/download/asr-models/sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13.tar.bz2
116.     // Zipformer 是一种高效的模型架构，结合了压缩和时序信息提取技术。其流式版本采用 CTC (Connectionist Temporal Classification) 作为解码方法。
117.     // * CTC 解码：是一种不依赖于精确对齐的解码算法，适合用于长度不匹配的输入和输出序列之间的预测，如语音识别中的不规则发音长度。
118.     // * Zipformer2 的特点在于其模型能够在保持较低计算成本的同时提供高准确率。
119.     // * 应用：支持中文多方言、跨语言的实时语音识别，尤其适用于处理大批量输入音频。
121.     const char *wav_filename = "/mnt/d/work/workspace/sherpa-onnx/build/sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13/test_wavs/DEV_T0000000000.wav";
122.     const char *model_filename = "/mnt/d/work/workspace/sherpa-onnx/build/sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13/ctc-epoch-20-avg-1-chunk-16-left-128.int8.onnx";
123.     const char *tokens_filename = "/mnt/d/work/workspace/sherpa-onnx/build/sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13/tokens.txt";
124.     const char *provider = "cpu";
126.     // Streaming zipformer2 CTC 配置
127.     SherpaOnnxOnlineZipformer2CtcModelConfig zipformer2_ctc_config;
128.     memset(&zipformer2_ctc_config, 0, sizeof(zipformer2_ctc_config));
129.     zipformer2_ctc_config.model = model_filename;
131.     // 读取 tokens 到 buffers
132.     const char *tokens_buf;
133.     size_t token_buf_size = ReadFile(tokens_filename, &tokens_buf);
134.     if (token_buf_size < 1) {
135.         fprintf(stderr, "Please check your tokens.txt!\n");
136.         free((void *)tokens_buf);
137.         return;
138.     }
140.     // Online model config
141.     SherpaOnnxOnlineModelConfig online_model_config;
142.     memset(&online_model_config, 0, sizeof(online_model_config));
143.     online_model_config.debug = 1;
144.     online_model_config.num_threads = 1;
145.     online_model_config.provider = provider;
146.     online_model_config.tokens_buf = tokens_buf;
147.     online_model_config.tokens_buf_size = token_buf_size;
148.     online_model_config.zipformer2_ctc = zipformer2_ctc_config;
150.     // Recognizer config
151.     SherpaOnnxOnlineRecognizerConfig recognizer_config;
152.     memset(&recognizer_config, 0, sizeof(recognizer_config));
153.     recognizer_config.decoding_method = "greedy_search";
154.     recognizer_config.model_config = online_model_config;
156.     SherpaOnnxOnlineRecognizer *recognizer =
157.             SherpaOnnxCreateOnlineRecognizer(&recognizer_config);
159.     free((void *)tokens_buf);
160.     tokens_buf = NULL;
162.     if (recognizer == NULL) {
163.         fprintf(stderr, "Please check your config!\n");
164.         return;
165.     }
167.     const SherpaOnnxOnlineStream *stream = SherpaOnnxCreateOnlineStream(recognizer);
168.     // 模拟加载音频文件并进行解码
169.     const SherpaOnnxWave *wave = SherpaOnnxReadWave(wav_filename);
170.     if (wave == nullptr) {
171.         std::cerr << "Failed to read " << wav_filename << std::endl;
172.         return;
173.     }
175.     // 开始识别
176.     int32_t N = 3200;  // 每次处理3200个样本
177.     int32_t k = 0;
178.     while (k < wave->num_samples) {
179.         int32_t start = k;
180.         int32_t end = (start + N > wave->num_samples) ? wave->num_samples : (start + N);
181.         k += N;
182.         // 处理音频流
183.         SherpaOnnxOnlineStreamAcceptWaveform(stream, wave->sample_rate, wave->samples + start, end - start);
184.         while (SherpaOnnxIsOnlineStreamReady(recognizer, stream)) {
185.             SherpaOnnxDecodeOnlineStream(recognizer, stream);
186.         }
187.         const SherpaOnnxOnlineRecognizerResult *result = SherpaOnnxGetOnlineStreamResult(recognizer, stream);
188.         if (strlen(result->text)) {
189.             std::cout << "Recognized Text: " << result->text << std::endl;
190.         }
191.         SherpaOnnxDestroyOnlineRecognizerResult(result);
192.     }
193.     // 清理资源
194.     SherpaOnnxFreeWave(wave);
195.     SherpaOnnxDestroyOnlineStream(stream);
196.     SherpaOnnxDestroyOnlineRecognizer(recognizer);
197.     std::cout << "Sherpa-ONNX Test Completed" << std::endl;
198. };
201. // 语音合成 tts
202. void tts(){
204.     std::cout << "sherpa-onnx tts demo" << std::endl;
206.     // 模型下载：vits-melo-tts-zh_en
207.     // https://github.com/k2-fsa/sherpa-onnx/releases/download/tts-models/vits-melo-tts-zh_en.tar.bz2
208.     // 目前 sherpa 只有这一个同时支持中英文 tts 的模型
210.     const char* output_filename = "./zh-en-0.wav";  // 输出文件名
212.     // 模型参数
213.     const char *model = "/mnt/d/work/workspace/sherpa-onnx/build/vits-melo-tts-zh_en/model.onnx";
214.     const char *lexicon = "/mnt/d/work/workspace/sherpa-onnx/build/vits-melo-tts-zh_en/lexicon.txt";
215.     const char *tokens = "/mnt/d/work/workspace/sherpa-onnx/build/vits-melo-tts-zh_en/tokens.txt";
216.     const char *dict = "/mnt/d/work/workspace/sherpa-onnx/build/vits-melo-tts-zh_en/dict";
218.     // 配置模型路径及参数
219.     SherpaOnnxOfflineTtsConfig config;
220.     memset(&config, 0, sizeof(config));
221.     config.model.vits.model = model;
222.     config.model.vits.lexicon = lexicon;
223.     config.model.vits.tokens = tokens;
224.     config.model.vits.dict_dir = dict;  // 字典目录
225.     config.model.vits.noise_scale = 0.667;  // 设置噪声比例
226.     config.model.vits.noise_scale_w = 0.8;  // 噪声权重
227.     config.model.vits.length_scale = 1.0;   // 语速比例
228.     config.model.num_threads = 1;           // 使用单线程
229.     config.model.provider = "cpu";          // 使用 CPU 作为计算设备
230.     config.model.debug = 0;                 // 不显示调试信息
232.     int sid = 0;  // 设置 speaker ID 为 0
233.     const char* text = "This is a 中英文的 text to speech 测试例子。";  // 测试文本
235.     // 创建 TTS 对象
236.     SherpaOnnxOfflineTts* tts = SherpaOnnxCreateOfflineTts(&config);
238.     // 生成音频
239.     const SherpaOnnxGeneratedAudio* audio = SherpaOnnxOfflineTtsGenerate(tts, text, sid, 1.0);
241.     // 将生成的音频写入 wav 文件
242.     SherpaOnnxWriteWave(audio->samples, audio->n, audio->sample_rate, output_filename);
244.     // 清理生成的音频和 TTS 对象
245.     SherpaOnnxDestroyOfflineTtsGeneratedAudio(audio);
246.     SherpaOnnxDestroyOfflineTts(tts);
248.     std::cout << "输入文本: " << text << std::endl;
249.     std::cout << "保存的文件: " << output_filename << std::endl;
250. }
252. int main(){
254.     // 语音识别 asr （sherpa-onnx-nemo-streaming-fast-conformer-transducer-en-80ms 模型）
255.     // 参考 decode-file-c-api.c
256. //    asr_1();
258.     // 语音识别 asr （sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13 模型）
259.     // 参考 streaming-ctc-buffered-tokens-c-api.c
260. //    asr_2();
262.     // 语音合成 tts
263.     // 参考 offline-tts-c-api.c
264.     tts();
266.     return 0;
267. }

复制代码

3.java-api

和使用 c-api 一样，核心代码由 c++ 实现，java 只通过 jni 调用。所以只必要动态库和 java jni 的 jar 即可。
jni 库可以直接下载，也可以自己编译。预构建的 java jni 库下载地址，找对应版本的系统下载即可：
下载地址：
https://hf-mirror.com/csukuangfj/sherpa-onnx-libs/tree/main/jni
找一个版本然后将 so 库和 jar 一起下载下来：

必要引入动态库和jar依赖：

下面是参考源码写的测试用例：

1. package tool.deeplearning;
3. import com.k2fsa.sherpa.onnx.*;
4. import java.io.File;
6. /**
7. *   @desc : sherpa-onnx 的 asr（语音识别） + tts（语音合成） 推理
8. *   @auth : tyf
9. *   @date : 2024-10-16 10:51:14
10. */
11. public class sherpa_onnx {
13.     // 加载所有动态库
14.     public static void loadLib() throws Exception{
15.         String lib_path =  new File("").getCanonicalPath()+ "\\lib_sherpa\\sherpa-onnx-v1.10.23-win-x64-jni\\lib\";
16.         String lib1 = lib_path + "onnxruntime.dll";
17.         String lib2 = lib_path + "onnxruntime_providers_shared.dll";
18.         String lib3 = lib_path + "sherpa-onnx-jni.dll";
19.         System.load(lib1);
20.         System.load(lib2);
21.         System.load(lib3);
22.     }
24.     // 语音识别 asr （sherpa-onnx-nemo-streaming-fast-conformer-transducer-en-80ms 模型）
25.     public static void asr_1(){
27.         String parent = "D:\\work\\workspace\\sherpa-onnx\\build\\sherpa-onnx-nemo-streaming-fast-conformer-transducer-en-80ms";
28.         String encoder = parent + "\\encoder.onnx";
29.         String decoder = parent + "\\decoder.onnx";
30.         String joiner = parent + "\\joiner.onnx";
31.         String tokens = parent + "\\tokens.txt";
32.         String waveFilename = parent + "\\test_wavs/0.wav";
34.         WaveReader reader = new WaveReader(waveFilename);
35.         OnlineTransducerModelConfig transducer = OnlineTransducerModelConfig.builder()
36.                         .setEncoder(encoder)
37.                         .setDecoder(decoder)
38.                         .setJoiner(joiner)
39.                         .build();
40.         OnlineModelConfig modelConfig = OnlineModelConfig.builder().setTransducer(transducer).setTokens(tokens).setNumThreads(1).setDebug(true).build();
42.         OnlineRecognizerConfig config =
43.                 OnlineRecognizerConfig.builder()
44.                         .setOnlineModelConfig(modelConfig)
45.                         .setDecodingMethod("greedy_search")
46.                         .build();
48.         OnlineRecognizer recognizer = new OnlineRecognizer(config);
49.         OnlineStream stream = recognizer.createStream();
50.         stream.acceptWaveform(reader.getSamples(), reader.getSampleRate());
52.         float[] tailPaddings = new float[(int) (0.8 * reader.getSampleRate())];
53.         stream.acceptWaveform(tailPaddings, reader.getSampleRate());
54.         while (recognizer.isReady(stream)) {
55.             recognizer.decode(stream);
56.         }
57.         String text = recognizer.getResult(stream).getText();
58.         System.out.printf("filename:%s\nresult:%s\n", waveFilename, text);
59.         stream.release();
60.         recognizer.release();
61.     }
66.     // 语音识别 asr （sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13 模型）
67.     public static void asr_2(){
69.         String parent = "D:\\work\\workspace\\sherpa-onnx\\build\\sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13\";
70.         String model = parent + "ctc-epoch-20-avg-1-chunk-16-left-128.onnx";
71.         String tokens = parent + "tokens.txt";
72.         String waveFilename = parent + "test_wavs\\DEV_T0000000000.wav";
73.         WaveReader reader = new WaveReader(waveFilename);
74.         OnlineZipformer2CtcModelConfig ctc = OnlineZipformer2CtcModelConfig.builder().setModel(model).build();
75.         OnlineModelConfig modelConfig = OnlineModelConfig.builder()
76.                         .setZipformer2Ctc(ctc)
77.                         .setTokens(tokens)
78.                         .setNumThreads(1)
79.                         .setDebug(true)
80.                         .build();
81.         OnlineRecognizerConfig config = OnlineRecognizerConfig.builder()
82.                         .setOnlineModelConfig(modelConfig)
83.                         .setDecodingMethod("greedy_search")
84.                         .build();
85.         OnlineRecognizer recognizer = new OnlineRecognizer(config);
86.         OnlineStream stream = recognizer.createStream();
87.         stream.acceptWaveform(reader.getSamples(), reader.getSampleRate());
88.         float[] tailPaddings = new float[(int) (0.3 * reader.getSampleRate())];
89.         stream.acceptWaveform(tailPaddings, reader.getSampleRate());
90.         while (recognizer.isReady(stream)) {
91.             recognizer.decode(stream);
92.         }
93.         String text = recognizer.getResult(stream).getText();
94.         System.out.printf("filename:%s\nresult:%s\n", waveFilename, text);
95.         stream.release();
96.         recognizer.release();
97.     }
99.     // 语音合成 tts （vits-melo-tts-zh_en 模型）
100.     public static void tts(){
101.         // please visit
102.         // https://github.com/k2-fsa/sherpa-onnx/releases/tag/tts-models
103.         // to download model files
104.         String parent = "D:\\work\\workspace\\sherpa-onnx\\build\\sherpa-onnx-vits-zh-ll\";
105.         String model = parent + "model.onnx";
106.         String tokens = parent + "tokens.txt";
107.         String lexicon = parent + "lexicon.txt";
108.         String dictDir = "dict";
109.         String ruleFsts =
110.                 parent + "vits-zh-hf-fanchen-C/phone.fst,"+
111.                 parent + "vits-zh-hf-fanchen-C/date.fst,"+
112.                 parent + "vits-zh-hf-fanchen-C/number.fst";
113.         String text = "有问题，请拨打110或者手机18601239876。我们的价值观是真诚热爱！";
114.         OfflineTtsVitsModelConfig vitsModelConfig = OfflineTtsVitsModelConfig.builder()
115.                         .setModel(model)
116.                         .setTokens(tokens)
117.                         .setLexicon(lexicon)
118.                         .setDictDir(dictDir)
119.                         .build();
120.         OfflineTtsModelConfig modelConfig = OfflineTtsModelConfig.builder()
121.                         .setVits(vitsModelConfig)
122.                         .setNumThreads(1)
123.                         .setDebug(true)
124.                         .build();
125.         OfflineTtsConfig config = OfflineTtsConfig.builder().setModel(modelConfig).setRuleFsts(ruleFsts).build();
126.         OfflineTts tts = new OfflineTts(config);
127.         int sid = 100;
128.         float speed = 1.0f;
129.         long start = System.currentTimeMillis();
130.         GeneratedAudio audio = tts.generate(text, sid, speed);
131.         long stop = System.currentTimeMillis();
132.         float timeElapsedSeconds = (stop - start) / 1000.0f;
133.         float audioDuration = audio.getSamples().length / (float) audio.getSampleRate();
134.         float real_time_factor = timeElapsedSeconds / audioDuration;
135.         String waveFilename = "tts-vits-zh.wav";
136.         audio.save(waveFilename);
137.         System.out.printf("-- elapsed : %.3f seconds\n", timeElapsedSeconds);
138.         System.out.printf("-- audio duration: %.3f seconds\n", timeElapsedSeconds);
139.         System.out.printf("-- real-time factor (RTF): %.3f\n", real_time_factor);
140.         System.out.printf("-- text: %s\n", text);
141.         System.out.printf("-- Saved to %s\n", waveFilename);
142.         tts.release();
143.     }
145.     public static void main(String[] args) throws Exception{
147.         // 加载动态库，注意 sherpa-onnx.jar 需要 jdk21
148.         loadLib();
150.         // 语音识别 asr （sherpa-onnx-nemo-streaming-fast-conformer-transducer-en-80ms 模型）
151.         // 参考 ./run-streaming-decode-file-transducer.sh 脚本及其 java 类
152.         asr_1();
154.         // 语音识别 asr （sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13 模型）
155.         // 参考 run-streaming-decode-file-ctc.sh 脚本及其 java 类
156.         asr_2();
158.         // 语音合成 tts （vits-melo-tts-zh_en 模型）
159.         tts();
161.     }
162. }

复制代码

4.android 中使用

android 中使用就和 java-api 差不多了，编译 android 平台的动态库以及jni 的jar 包就可以使用了，直接用官方预构建的下载链接：
https://github.com/k2-fsa/sherpa-onnx/releases

可以检察一下动态库符号（关键字sherpa ），对照 jar 中的 java api 举行调用即可：
nm -D libsherpa-onnx-jni.so | grep "sherpa"
在 android 中引入 so、jar：

下面是参考实例的 kt 代码写的 java 测试 MainActivity：

1. package com.sherpa.dmeo;
3. import androidx.appcompat.app.AppCompatActivity;
5. import android.os.Bundle;
6. import android.util.Log;
8. import com.k2fsa.sherpa.onnx.GeneratedAudio;
9. import com.k2fsa.sherpa.onnx.OfflineTts;
10. import com.k2fsa.sherpa.onnx.OfflineTtsConfig;
11. import com.k2fsa.sherpa.onnx.OfflineTtsModelConfig;
12. import com.k2fsa.sherpa.onnx.OfflineTtsVitsModelConfig;
13. import com.sherpa.dmeo.databinding.ActivityMainBinding;
14. import com.sherpa.dmeo.util.Tools;
16. import java.io.File;
17. import java.util.concurrent.Executors;
20. /**
21. * @desc : TTS/ASR 测试
22. * @auth : tyf
23. * @date : 2024-10-18 10:33:03
24. */
25. public class MainActivity extends AppCompatActivity {
27.     private ActivityMainBinding binding;
29.     private static String TAG = MainActivity.class.getName();
31.     @Override
32.     protected void onCreate(Bundle savedInstanceState) {
33.         super.onCreate(savedInstanceState);
35.         binding = ActivityMainBinding.inflate(getLayoutInflater());
36.         setContentView(binding.getRoot());
38.         // 语音合成测试
39.         Executors.newSingleThreadExecutor().submit(()->{
41.             // 递归复制模型文件到 app 存储路径
42.             Tools.setContext(this);
43.             Tools.copyAsset("vits-melo-tts-zh_en",Tools.path());
45.             String model = Tools.path() + "/vits-melo-tts-zh_en/model.onnx";
46.             String tokens = Tools.path() + "/vits-melo-tts-zh_en/tokens.txt";
47.             String lexicon = Tools.path() + "/vits-melo-tts-zh_en/lexicon.txt";
48.             String dictDir = Tools.path() + "/vits-melo-tts-zh_en/dict";
49.             String ruleFsts = Tools.path() + "/vits-melo-tts-zh_en/phone.fst," +
50.                     Tools.path() + "/vits-melo-tts-zh_en/date.fst," +
51.                     Tools.path() +"/vits-melo-tts-zh_en/number.fst," +
52.                     Tools.path() +"/vits-melo-tts-zh_en/new_heteronym.fst";
54.             // 待生成文本
55.             String text = "在晨光初照的时分，\n" +
56.                     "微风轻拂，花瓣轻舞，\n" +
57.                     "小溪潺潺，诉说心事，\n" +
58.                     "阳光透过树梢，洒下温暖。\n" +
59.                     "\n" +
60.                     "远山如黛，静默守望，\n" +
61.                     "白云悠悠，似梦似幻，\n" +
62.                     "时光流转，岁月如歌，\n" +
63.                     "愿心中永存这份宁静。\n" +
64.                     "\n" +
65.                     "无论何时，心怀希望，\n" +
66.                     "在每一个晨曦中起舞，\n" +
67.                     "追逐梦想，勇往直前，\n" +
68.                     "让生命绽放出灿烂的光彩。";
70.             // 输出wav文件
71.             String waveFilename = Tools.path() + "/tts-vits-zh.wav";
73.             Log.d(TAG,"开始语音合成!");
75.             OfflineTtsVitsModelConfig vitsModelConfig = OfflineTtsVitsModelConfig.builder()
76.                     .setModel(model)
77.                     .setTokens(tokens)
78.                     .setLexicon(lexicon)
79.                     .setDictDir(dictDir)
80.                     .build();
82.             OfflineTtsModelConfig modelConfig = OfflineTtsModelConfig.builder()
83.                     .setVits(vitsModelConfig)
84.                     .setNumThreads(1)
85.                     .setDebug(true)
86.                     .build();
88.             OfflineTtsConfig config = OfflineTtsConfig.builder().setModel(modelConfig).setRuleFsts(ruleFsts).build();
89.             OfflineTts tts = new OfflineTts(config);
91.             // 语速和说话人
92.             int sid = 100;
93.             float speed = 1.0f;
94.             long start = System.currentTimeMillis();
95.             GeneratedAudio audio = tts.generate(text, sid, speed);
96.             long stop = System.currentTimeMillis();
97.             float timeElapsedSeconds = (stop - start) / 1000.0f;
98.             float audioDuration = audio.getSamples().length / (float) audio.getSampleRate();
99.             float real_time_factor = timeElapsedSeconds / audioDuration;
101.             audio.save(waveFilename);
102.             Log.d(TAG, String.format("-- elapsed : %.3f seconds", timeElapsedSeconds));
103.             Log.d(TAG, String.format("-- audio duration: %.3f seconds", timeElapsedSeconds));
104.             Log.d(TAG, String.format("-- real-time factor (RTF): %.3f", real_time_factor));
105.             Log.d(TAG, String.format("-- text: %s", text));
106.             Log.d(TAG, String.format("-- Saved to %s", waveFilename));
108.             Log.d(TAG,"音频合成："+waveFilename+"，是否成功："+new File(waveFilename).exists());
109.             tts.release();
111.             // 播放 wav
112.             Tools.play(waveFilename);
114.         });
116.     }
117. }

复制代码

android 项目示例代码：
https://github.com/TangYuFan/deeplearn-mobile/tree/main/android_sherpa_onnx_ars_dmeo
https://github.com/TangYuFan/deeplearn-mobile/tree/main/android_sherpa_onnx_tts_dmeo


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。