鸿蒙5.0&next开发【使用MindSpore Lite举行模型转换】AI昪思推理框架服务
使用MindSpore Lite举行模型转换基本概念
[*]MindSpore Lite：OpenHarmony内置AI推理引擎，提供深度学习模型的推理部署能力。
[*]Neural Network Runtime：神经网络运行时，简称NNRt。作为中间桥梁，连通上层 AI 推理框架和底层加快芯片，实现 AI 模型的跨芯片推理计算。
[*]通用的神经网络模型格式，如MindSpore、ONNX、TensorFlow、CAFFE等。
[*]离线模型：使用硬件厂商的离线模型转换工具转换得到的模型，由硬件厂商负责解析和推理。
场景介绍
MindSpore Lite AI模型部署流程是：
[*]开发者起首将原始模型（如：ONNX、CAFFE等）用MindSpore Lite模型转换工具，生成后缀为.ms的模型文件；
[*]然后在代码中调用MindSpore Lite推理引擎接口
环境准备
获取模型转换工具
对于MindSpore Lite模型转换工具，有以下两种方式可以获取：
通过下载获取
组件硬件平台操作系统链接SHA-256端侧推理和练习benchmark工具、converter工具、cropper工具CPULinux-x86_64b267e5726720329200389e47a178c4f882bf526833b714ba6e630c8e2920fe89 说明：
由于支持转换PyTorch模型的编译选项默认关闭，因此下载的安装包不支持转换PyTorch模型，只能通过源码编译方式获取。
通过源码编译
[*] 编译环境要求如下：
[*] 系统环境：Linux x86_64，推荐使用Ubuntu 18.04.02LTS。
[*] C++编译依赖：
[*]GCC >= 7.3.0
[*]CMake >= 3.18.3
[*]Git >= 2.28.0
[*] 取。此代码仓接纳 “压缩包 + 补丁”的方式管理源码。起首执行以下命令解压源码，打入补丁。
python3 build_helper.py --in_zip_path=./mindspore-v2.1.0.zip --patch_dir=./patches/ --out_src_path=./mindspore-src
bash
执行完毕，MindSpore Lite完整源码位于：mindspore-src/source/。
[*] 执行编译。
如要获取支持转换PyTorch模型的转换工具，编译前需要先export MSLITE_ENABLE_CONVERT_PYTORCH_MODEL=on && export LIB_TORCH_PATH="/home/user/libtorch"。转换前加入libtorch的环境变量：export LD_LIBRARY_PATH="/home/user/libtorch/lib:${LD_LIBRARY_PATH}"。用户可以下载CPU版本libtorch后解压到/home/user/libtorch的目次下。
cd mindspore-src/source/
bash build.sh -I x86_64 -j 8
bash
编译完成后，可从源码根目次的output/子目次取得MindSpore Lite发布件。解压后，转换工具位于tools/converter/converter/。
设置环境变量
获取到模型转换工具之后，还需要将转换工具需要的动态链接库加入环境变量LD_LIBRARY_PATH。
export LD_LIBRARY_PATH=${PACKAGE_ROOT_PATH}/tools/converter/lib:${LD_LIBRARY_PATH}
bash
此中，${PACKAGE_ROOT_PATH}对应为编译或下载得到的MindSpore Lite发布件解压后的路径。
参数说明
MindSpore Lite模型转换工具提供了多种参数设置，用户可根据需要来选择使用。此外，用户可输入./converter_lite --help获取实时帮助。 下面提供详细的参数说明。
参数是否必选参数说明取值范围–help否打印全部帮助信息。-–fmk是输入模型的原始格式。只有在MS模型转换为Micro代码场景时，才支持设置为MSLITE。MINDIR、CAFFE、TFLITE、TF、ONNX、PYTORCH、MSLITE–modelFile是输入模型的路径。-–outputFile是输出模型的路径，不需加后缀，可自动生成.ms后缀。-–weightFile转换CAFFE模型时必选输入模型权重文件的路径。-–configFile否1）可作为练习后量化设置文件路径；2）可作为扩展功能设置文件路径。-–fp16否设定在模型序列化时是否需要将float32数据格式的权重存储为float16数据格式。 默认值为off。on、off–inputShape否设定模型输入的维度，输入维度的顺序和原始模型保持同等。对某些特定的模型可以进一步优化模型结构，但是转化后的模型将大概失去动态shape的特性。输入名和shape之间用:分割，多个输入用;分割，同时加上双引号""。比方设置为"inTensorName_1: 1,32,32,4;inTensorName_2:1,64,64,4;"。-–inputDataFormat否设定导出模型的输入format，只对四维输入有效。 默认值为NHWC。NHWC、NCHW–inputDataType否设定量化模型输入tensor的数据范例。仅当模型输入tensor的量化参数（scale和zero point）设置时有效。默认与原始模型输入tensor的数据范例保持同等。 默认值为DEFAULT。FLOAT32、INT8、UINT8、DEFAULT–outputDataType否设定量化模型输出tensor的数据范例。仅当模型输出tensor的量化参数（scale和zero point）设置时有效。默认与原始模型输出tensor的数据范例保持同等。 默认值为DEFAULT。FLOAT32、INT8、UINT8、DEFAULT–outputDataFormat否设定导出模型的输出format，只对四维输出有效。NHWC、NCHW 说明：
[*]参数名和参数值之间用等号连接，中间不能有空格。
[*]CAFFE模型一样平常分为两个文件：*.prototxt模型结构，对应--modelFile参数；*.caffemodel模型权值，对应--weightFile参数。
使用示例
以CAFFE模型LeNet为例，执行转换命令。
./converter_lite --fmk=CAFFE --modelFile=lenet.prototxt --weightFile=lenet.caffemodel --outputFile=lenet
bash
本例中，因为接纳了CAFFE模型，所以需要模型结构、模型权值两个输入文件。再加上其他必需的fmk范例和输出路径两个参数，即可成功执行。 结果表现为：
CONVERT RESULT SUCCESS:0
bash
这表示已经成功将CAFFE模型转化为MindSpore Lite模型，得到新文件lenet.ms。
离线模型转换（可选）
当部署场景对加载时延要求严格时，开发者希望进一步降低加载时延，可接纳另一种部署方案，即基于离线模型的推理。
执行推理时，MindSpore Lite会直接将离线模型传给接入NNRt的 AI 硬件，无需在线构图即可加载，大幅降低模型加载时延，并且可携带额外的硬件特定信息，帮忙 AI 硬件推理。
约束与限制
[*]离线模型仅支持在NNRt后端推理，硬件厂商需接入NNRt且支持离线模型推理。
[*]离线模型转换工具仅支持通过源码编译方式获取。
[*]离线模型在转换时fmk必须指定为THIRDPARTY。
[*]离线模型本身作为黑盒，转换工具无法直接解析它得到模型输入输出张量信息，因此需要用户在转换工具的扩展设置文件中手动设置。
扩展设置文件说明
扩展设置样比方下：
[*]首行为固定关键词，表明此节为离线模型设置。
[*]下方依次是模型输入输出张量的名称、数据范例、形状、内存格式等信息，每个字段独占一行，先后顺序不限，接纳键值对格式。
[*]除数据范例和形状必选外，别的为可选设置。
[*]末了，还提供扩展参数字段，可将离线模型所需的自定义设置用键值对的情势一同封装到.ms文件，在推理时由NNRt传递给AI硬件使用。
input_names=in_0;in_1
input_dtypes=float32;float32
input_shapes=8,256,256;8,256,256,3
input_formats=NCHW;NCHW
output_names=out_0
output_dtypes=float32
output_shapes=8,64
output_formats=NCHW
extended_parameters=key_foo:value_foo;key_bar:value_bar
text
字段说明：
[*]input_names：[可选]模型输入名称，格式：字符串，多个输入用;间隔。
[*]input_dtypes：[必选]模型输入数据范例，格式：范例，多个输入用;间隔。
[*]input_shapes：[必选]模型输入形状，格式：整数数组，多个输入用;间隔。
[*]input_formats：[可选]模型输入内存结构，格式：字符串，多个输入用;间隔，默认值NHWC。
[*]output_names：[可选]模型输入名称，格式：字符串，多个输入用;间隔。
[*]output_dtypes：[必选]模型输出数据范例，格式：范例，多个输出用;间隔。
[*]output_shapes：[必选]模型输出形状，格式：整数数组，多个输出用;间隔。
[*]output_formats：[可选]模型输出内存结构，格式：字符串，多个输入用;间隔，默认值NHWC。
[*]extended_parameters：[可选]推理硬件自定义设置，字符串键值对格式，会通过NNRt后端传给硬件。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]