AI-Engine-Direct-Helper 快速上手及环境配置

AI-Engine-Direct-Helper 是一个强大的工具，旨在简化和加速在 Qualcomm 平台上开发 AI 应用的过程。通过提供同一的 API、跨平台支持和高效的执行性能，它为开发者提供了一个灵活且高效的开发环境。假如您正在使用 Qualcomm 平台举行 AI 开发，AI-Engine-Direct-Helper 将是一个不可或缺的助手。
AI-Engine-Direct-Helper 包罗以下重要组件：C++ 和 Python 库、预构建的二进制包、示例代码、脚本和工具等。
简化开发流程：通过提供同一的 API 和预构建的库，简化了在 Qualcomm 平台上开发 AI 应用的流程。开发者可以更专注于模子的设计和优化，而不必担心底层硬件的差别。
跨平台支持：支持在 Windows 和 Linux 平台上运行，适用于多种开发环境。特别是在 Windows on Snapdragon (WoS) 平台上，开发者可以使用丰富的 Python 生态系统来构建 GUI 应用。
高效执行：优化了网络加载和异步执行，提拔了模子推理的性能。通过使用 Qualcomm 的硬件加速器（如 CPU、GPU 和 HTP），可以显著提高 AI 应用的执行服从。
模块化设计：接纳模块化设计，允许用户根据需要选择和组合差别的功能模块。这种灵活性使得开发者可以创建内存占用低、适合各种硬件产品的应用。
支持多种模子：提供对多种 AI 模子的支持，包罗图像分类、目标检测、自然语言处理等。开发者可以根据具体需求选择合适的模子和 QNN SDK 版本。

前置条件

• 高通 Windows on Snapdragon
  
• 各平台账号，包罗：Github、高通 Software Center
  

方式选择及配置步骤：

1、为 QAI AppBuilder  自动设置  x64 Python 及 QNN环境

• 下载并安装 git 和 x64 Python 3.12.8
  

确保在安装 Python 时选中 'Add python.exe to PATH'
在 Windows 终端中运行以下下令确保工具安装乐成：
git –V
python –V

• 安装基本的 Python 依靠项
  

在 Windows 终端中运行以下下令：
pip install requests wget tqdm importlib-metadata qai-hub qai_hub_models huggingface_hub Pillow numpy opencv-python torch torchvision torchaudio transformers diffusers ultralytics==8.0.193
 

• 下载 QAI AppBuilder 存储库
  

新建工作目录 ai-hub; 并进入目录中使用git下令下载ai-engine-direct-helper堆栈举行后续利用：
mkdir C:\ai-hub\
cd C:\ai-hub\
git clone https://github.com/quic/ai-engine-direct-helper.git
cd ai-engine-direct-helper\samples\python

• 设置 QAI AppBuilder Python 环境
  

在 Windows 终端中运行以下下令：
python setup.py --qnn-sdk-version <version of QNN SDK>
比方，假如想使用 QNN SDK 2.28，可以更换<version of QNN SDK> 并执行 ：
python setup.py --qnn-sdk-version 2.28

2、为 QAI AppBuilder  手动设置  x64 Python 及 QNN环境

Python环境配置：

• 下载并安装 git 和 x64 Python 3.12.8
  

确保在安装 Python 时选中 'Add python.exe to PATH'
安装后使用 git –V、python –V下令举行验证，确保安装且配置乐成

• 配置Python虚拟环境
  

打开powershell终端，新建工作目录 ai-hub并进入工作目录，运行如下下令举行配置虚拟环境：
cd C:\ai-hub\
python -m venv py312
.\py312\Scripts\Activate.ps1

• 如图即创建乐成，起首检查新建的虚拟环境python版本是否与自己想要创建的相匹，然后更新pip工具：
  

python –V
python -m pip install --upgrade pip

• 安装基本的 Python 依靠项
  

在 powershell 终端中运行以下下令：
pip install requests wget tqdm importlib-metadata qai-hub qai_hub_models huggingface_hub Pillow numpy opencv-python torch torchvision torchaudio transformers diffusers  basicsr ultralytics==8.0.193

安装QNN SDK：

• 在 ai-engine-direct-helper 中找到需要使用的模子，查看对应模子的使用文档，也可以从下面列出的模子中找到合适的QNN SDK版本：
  

• 在高通 Software Center 中下载模子所需要的 QNN SDK, 以下以 2.28 为例：
  

在库中找到 Qualcomm® AI Engine Direct SDK，并在右侧选择对应的版本，点击 Extract 下载安装

• 设置 QNN 环境变量
  

安装后会提示安装的具体位置如 C:\Qualcomm\AIStack\QAIRT\2.28.2.241116
在 powershell 终端输入如下下令配置环境变量：
cd C:\Qualcomm\AIStack\QAIRT\2.28.2.241116\bin
Unblock-File ./envsetup.ps1
./envsetup.ps1

    
如需qnn完备配置请参照C:\Qualcomm\AIStack\QAIRT\2.28.2.241116\docs\QNN\index.html

• 配置appbuilder
  

从ai-engine-direct-helper中找到合适的qai_appbuilder版本并举行下载，本文下载的是“qnn2.28/python3.12/x64”版本的whl文件

• 下载到当地后，用pip工具举行安装
  

pip install .\qai_appbuilder-2.28.0-cp312-cp312-win_amd64.whl

使用AI Model

在ai-engine-direct-helper sample 中找到需要使用的模子，并参照README文档举行使用。

作者：
赵世朝（Shizhao Zhao），高通工程师

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。