学校部门网站的建设南通城乡住房建设厅网站首页
AI-Engine-Direct-Helper 是一个强大的工具，旨在简化和加速在 Qualcomm 平台上开发 AI 应用的过程。通过提供统一的 API、跨平台支持和高效的执行性能，它为开发者提供了一个灵活且高效的开发环境。如果您正在使用 Qualcomm 平台进行 AI 开发，AI-Engine-Direct-Helper 将是一个不可或缺的助手。
AI-Engine-Direct-Helper 包含以下主要组件：C++ 和 Python 库、预构建的二进制包、示例代码、脚本和工具等。
简化开发流程：通过提供统一的 API 和预构建的库，简化了在 Qualcomm 平台上开发 AI 应用的流程。开发者可以更专注于模型的设计和优化，而不必担心底层硬件的差异。
跨平台支持：支持在 Windows 和 Linux 平台上运行，适用于多种开发环境。特别是在 Windows on Snapdragon (WoS) 平台上，开发者可以利用丰富的 Python 生态系统来构建 GUI 应用
高效执行：优化了网络加载和异步执行，提升了模型推理的性能。通过利用 Qualcomm 的硬件加速器（如 CPU、GPU 和 HTP），可以显著提高 AI 应用的执行效率。
模块化设计：采用模块化设计，允许用户根据需要选择和组合不同的功能模块。这种灵活性使得开发者可以创建内存占用低、适合各种硬件产品的应用
支持多种模型：提供对多种 AI 模型的支持，包括图像分类、目标检测、自然语言处理等。开发者可以根据具体需求选择合适的模型和 QNN SDK 版本。
前置条件
- 高通 Windows on Snapdragon
- 各平台账号，包括：Github、高通 Software Center
方式选择及配置步骤
1、为 QAI AppBuilder 自动设置 x64 Python 及 QNN环境
- 下载并安装 git 和 x64 Python 3.12.8
确保在安装 Python 时选中 'Add python.exe to PATH'
在 Windows 终端中运行以下命令确保工具安装成功：
git –V
python –V
- 安装基本的 Python 依赖项
在 Windows 终端中运行以下命令：
pip install requests wget tqdm importlib-metadata qai-hub qai_hub_models huggingface_hub Pillow numpy opencv-python torch torchvision torchaudio transformers diffusers ultralytics==8.0.193
- 下载 QAI AppBuilder 存储库
新建工作目录 ai-hub; 并进入目录中使用git命令下载ai-engine-direct-helper仓库进行后续操作：
mkdir C:\ai-hub\
cd C:\ai-hub\
git clone https://github.com/quic/ai-engine-direct-helper.git
cd ai-engine-direct-helper\samples\python
- 设置 QAI AppBuilder Python 环境
在 Windows 终端中运行以下命令：
python setup.py --qnn-sdk-version <version of QNN SDK>
例如，如果想使用 QNN SDK 2.28，可以替换<version of QNN SDK> 并执行 ：
python setup.py --qnn-sdk-version 2.28
2、为 QAI AppBuilder 手动设置 x64 Python 及 QNN环境
Python环境配置：
- 下载并安装 git 和 x64 Python 3.12.8
确保在安装 Python 时选中 'Add python.exe to PATH'
安装后使用 git –V、python –V命令进行验证，确保安装且配置成功
- 配置Python虚拟环境
打开powershell终端，新建工作目录 ai-hub并进入工作目录，运行如下命令进行配置虚拟环境：
cd C:\ai-hub\
python -m venv py312
.\py312\Scripts\Activate.ps1
- 如图即创建成功，首先检查新建的虚拟环境python版本是否与自己想要创建的相匹，然后更新pip工具：
python –V
python -m pip install --upgrade pip
- 安装基本的 Python 依赖项
在 powershell终端中运行以下命令：
pip install requests wget tqdm importlib-metadata qai-hub qai_hub_models huggingface_hub Pillow numpy opencv-python torch torchvision torchaudio transformers diffusers basicsr ultralytics==8.0.193
安装QNN SDK：
- 在 ai-engine-direct-helper中找到需要使用的模型，查看对应模型的使用文档，也可以从下面列出的模型中找到合适的QNN SDK版本
- 在高通Software Center中下载模型所需要的QNN SDK, 以下以2.28为例：
在库中找到Qualcomm® AI Engine Direct SDK，并在右侧选择对应的版本，点击Extract下载安装
- 设置QNN环境变量
安装后会提示安装的具体位置如C:\Qualcomm\AIStack\QAIRT\2.28.0.241029
在powershell终端输入如下命令配置环境变量：
cd C:\Qualcomm\AIStack\QAIRT\2.28.0.241029\bin
Unblock-File ./envsetup.ps1
./envsetup.ps1
如需qnn完整配置请参照C:\Qualcomm\AIStack\QAIRT\2.28.0.241029 \docs\QNN\index.html
- 配置appbuilder
从ai-engine-direct-helper中找到合适的qai_appbuilder版本并进行下载，本文下载的是“qnn2.28/python3.12/x64”版本的whl文件
- 下载到本地后，用pip工具进行安装
pip install .\qai_appbuilder-2.28.0-cp312-cp312-win_amd64.whl
使用AI Model
在ai-engine-direct-helper sample中找到需要使用的模型，并参照README文档进行使用。
作者：
赵世朝（Shizhao Zhao），高通工程师