安卓调用onnx模型并盘算

安卓平台可以通过调用onnx模型来举行盘算，这为移动设备提供了更多的盘算本事和应用场景。通过使用onnx模型，安卓设备可以举行复杂的盘算任务，比方图像识别、语音识别等。这为移动应用的功能和性能提拔提供了新的可能性。同时，开发者可以利用onnx模型来开发更加智能和高效的安卓应用，为用户提供更好的体验。总的来说，安卓调用onnx模型并举行盘算的本事为移动设备的发展带来了新的机会和挑战。
   

依赖

build.gradle

1. plugins {
2.     id 'com.android.application'
3. }
5. repositories {
6.     jcenter()
7.     maven {
8.         url "https://oss.sonatype.org/content/repositories/snapshots"
9.     }
10. }
12. android {
13.     signingConfigs {
14.         release {
15.             storeFile file('myapp.keystore')
16.             storePassword '123456'
17.             keyAlias 'myapp'
18.             keyPassword '123456'
19.         }
20.     }
21.     packagingOptions {
22.         pickFirst 'lib/arm64-v8a/libc++_shared.so'
23.     }
24.     configurations {
25.         extractForNativeBuild
26.     }
27.     compileSdkVersion 28
28.     buildToolsVersion "30.0.3"
30.     defaultConfig {
31.         applicationId "com.mobvoi.myapp"
32.         minSdkVersion 21
33.         targetSdkVersion 28
34.         versionCode 1
35.         versionName "1.0"
37.         testInstrumentationRunner "androidx.test.runner.AndroidJUnitRunner"
38.         externalNativeBuild {
39.             cmake {
40.                 targets "myapp", "decoder_main"
41.                 cppFlags "-std=c++11", "-DC10_USE_GLOG", "-DC10_USE_MINIMAL_GLOG", "-DANDROID", "-Wno-c++11-narrowing", "-fexceptions"
42.             }
43.         }
45.         ndkVersion '21.3.6528147'
46.         ndk {
47.             abiFilters 'arm64-v8a'
48.         }
49.     }
51.     buildTypes {
52.         release {
53.             minifyEnabled false
54.             signingConfig signingConfigs.release
55.             proguardFiles getDefaultProguardFile('proguard-android-optimize.txt'), 'proguard-rules.pro'
56.         }
57.     }
58.     externalNativeBuild {
59.         cmake {
60.             path "src/main/cpp/CMakeLists.txt"
61.         }
62.     }
63.     compileOptions {
64.         sourceCompatibility JavaVersion.VERSION_1_8
65.         targetCompatibility JavaVersion.VERSION_1_8
66.     }
67.     ndkVersion '21.3.6528147'
68. }
70. dependencies {
72.     implementation 'androidx.appcompat:appcompat:1.2.0'
73.     implementation 'com.google.android.material:material:1.2.1'
74.     implementation 'androidx.constraintlayout:constraintlayout:2.0.4'
75.     testImplementation 'junit:junit:4.+'
76.     androidTestImplementation 'androidx.test.ext:junit:1.1.2'
77.     androidTestImplementation 'androidx.test.espresso:espresso-core:3.3.0'
79.     implementation 'org.pytorch:pytorch_android:1.10.0'
80.     extractForNativeBuild 'org.pytorch:pytorch_android:1.10.0'
82.     implementation group: 'com.microsoft.onnxruntime', name: 'onnxruntime-android', version: '1.15.1'
83. }
85. task extractAARForNativeBuild {
86.     doLast {
87.         configurations.extractForNativeBuild.files.each {
88.             def file = it.absoluteFile
89.             copy {
90.                 from zipTree(file)
91.                 into "$buildDir/$file.name"
92.                 include "headers/**"
93.                 include "jni/**"
94.             }
95.         }
96.     }
97. }
99. tasks.whenTaskAdded { task ->
100.     if (task.name.contains('externalNativeBuild')) {
101.         task.dependsOn(extractAARForNativeBuild)
102.     }
103. }

复制代码

准备好onnx放在assert目录下

api介绍

地点

api文档

https://javadoc.io/doc/com.microsoft.onnxruntime/onnxruntime/latest/index.html
常用的api

api	作用
OrtEnvironment.getEnvironment() 复制代码	创建onnx上下文的运行环境
new OrtSession.SessionOptions() 复制代码	创建会话（配置） 复制代码
environment.createSession(bytes, options) 复制代码	创建会话，第一个参数是模型数据，第二个是配置的参数 复制代码
LongBuffer.wrap(inputValues) 复制代码	将输入转换成onnx识别的输入，输入是模型识别的数据
OnnxTensor.createTensor(environment, wrap, new long[]{1, inputValues.length}) 复制代码	创建tensor，第一个参数是上面定义的环境，第二个参数是输入转换成模型的格式，第三个根据实际设置，为入参的矩阵格式
session.run(map) 复制代码	推理，map是整合起来的数据
(long[][]) output.get(1).getValue() 复制代码	获取推理结果，这里以二维数组为例

使用案例

1. private String getOnnx(String text) {
2.         OrtEnvironment environment = OrtEnvironment.getEnvironment();
3.         AssetManager assetManager = getAssets();
4.         try {
5.             // 创建会话
6.             OrtSession.SessionOptions options = new OrtSession.SessionOptions();
8.             // 读取模型
9.             InputStream stream = assetManager.open("youonnx.onnx");
10.             ByteArrayOutputStream byteStream = new ByteArrayOutputStream();
12.             byte[] buffer = new byte[4096];
13.             int bytesRead;
14.             while ((bytesRead = stream.read(buffer)) != -1) {
15.                 byteStream.write(buffer, 0, bytesRead);
16.             }
18.             byteStream.flush();
19.             byte[] bytes = byteStream.toByteArray();
20.             OrtSession session = environment.createSession(bytes, options);
21.             String vocab = "vocab";
22.             String puncVocab = "punc_vocab";
24.             Map<String, Integer> vocabMap = getFormFile(vocab, new String[]{"<UNK>", "<END>"});
25.             Map<String, Integer> puncVocabMap = getFormFile(vocab, new String[]{" "});
27.             DataSet.NoPuncTextDataset dataset = new DataSet.NoPuncTextDataset(vocabMap, puncVocabMap);
29.             List<Integer> list = dataset.word2seq(text);
31.             // 准备输入数据
32.             long[] inputValues = new long[list.size()];
33.             for (int i = 0; i < list.size(); i++) {
34.                 inputValues[i] = list.get(i);
35.             }
37.             LongBuffer wrap = LongBuffer.wrap(inputValues);
38.             OnnxTensor inputTensor = OnnxTensor.createTensor(environment, wrap, new long[]{1, inputValues.length});
40.             long[] len = new long[]{inputValues.length};
41.             LongBuffer wrap2 = LongBuffer.wrap(len);
42.             OnnxTensor inputTensor_len = OnnxTensor.createTensor(environment, wrap2, new long[]{1});
43.             // 准备数据
44.             Map<String, OnnxTensor> map = new HashMap<>();
45.             map.put("inputs", inputTensor);
46.             map.put("inputs_len", inputTensor_len);
48.             // 运行推理
49.             OrtSession.Result output = session.run(map);
51.             // 获取输出结果
52.             long[][] value = (long[][]) output.get(1).getValue();
53.             // 处理输出结果
54.             // todo
55.             session.close();
56.             return "you_answer"
57.         } catch (IOException | OrtException e) {
58.             throw new RuntimeException(e);
59.         }
60.     }

复制代码

通过调用此函数，可以实现安卓调用onnx

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。