大模型推理-MTK Neurapilot sdk了解与环境配置-1
一、 neurapilot sdk 简介
https://neuropilot.mediatek.com/auth/resources/login?redirect_uri=/sphinx/neuropilot-8-basic-customer/html/index.html
NeuroPilot Basic：NeuroPilot 的标准版本，面向所有用户。NeuroPilot Basic 包含 NeuroPilot 软件生态系统中列出的所有功能。
NeuroPilot Premium：NeuroPilot 的增强版本，面向拥有 Premium 许可证的用户。NeuroPilot Premium 包含 NeuroPilot Basic 的所有功能, 和下面的五個高級功能：
自动混合精度量化搜索
自动混合精度量化搜索是一种更轻松地生成混合精度量化模型的方法。通过对模型中不重要的部分使用较低的精度设置，该方法有助于在保持相似模型质量的同时提升模型性能。目前，TensorFlow V1 和 PyTorch 均支持自动混合精度量化搜索。
编译器自定义 API
编译器自定义 API 允许用户通过向 Neuron 编译器提供用户特定信息 (USI) 文件来定制模型。将编译器自定义 API 集成到编译器工作流程后，用户可以直接控制高级编译器功能，例如执行计划、运算精度和并行执行。
Halide Auto
Halide Auto 是一款工具，可帮助用户为 MVPU 目标开发 Halide 算法，而无需手动调度每个计算阶段。 Halide Auto 包含以下组件：
联发科技 Halide 自动调度器：此功能自动生成由 MVPU 基元组成的调度。
自动调谐器：此功能自动在用户指定的时间段内测试多个不同的调度，以找到最佳调度。
MET Profiler
联发科技嵌入式技术 (MET) Profiler 是一款性能分析工具，可帮助用户在联发科技设备上运行工作负载时，可视化、分析和调试硬件和软件指标。使用 MET Profiler，用户可以确定并减少性能瓶颈。
NeuroPilot-Security：mTEE 指南和 UREE 简介
所有 NeuroPilot 用户均可使用 NeuroPilot-Security。NeuroPilot Premium 用户可以访问 mTEE 开发指南和 UREE API 简介。
软件工具系列：
支持的硬件类型：
CPU
GPU
MVPU (MediaTek Vision Processing Unit)
MDLA (MediaTek Deep Learning Accelerator)
模型部署流程：
Neuron Delegate 允许用户创建和使用自定义 API, 允许用户创建 TensorFlow Lite 内置操作之外的自定义操作 (op)。
软件架构示意图：
NeuroPilot Neuron Adapter API：
Neuron Adapter API 工作流：
Google NNAPI:
NeuroPilot Neuron SDK:
二、开发环境部署
2.1 docker 环境配置
登入服务器：
ssh -p 9527 shengqing.liu@jmp.nioint.com
10.161.18.33
创建一个docker 容器：
sudo docker run --net=host -p 8001:8001 --ipc=host --gpus all -it --volume /mnt/beegfs/users/shengqing.liu/aigc_33_qnn_docker/:/home/develop --name 12.4.0-devel-ubuntu22.04-mtk-lsq nvcr.io/nvidia/cuda:12.4.0-devel-ubuntu22.04sudo docker exec -it 12.4.0-devel-ubuntu22.04-mtk-lsq bin/bash
在容器中进行环境配置：python 环境配置：
apt update
apt install pip
apt-get install python3.10 python3-distutils libpython3.10
apt-get install python3.10-venv
python3.10 -m venv bge-3-10
source 3-10-mtk-vir/bin/activatemtk软件安装：
tar -zxvf neuropilot-sdk-basic-8.0.7-build20250122.tar.gz
cd neuropilot-8-0-7/offline_tool
pip install numpy==1.26.0 -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com pip install mtk_quantization-8.2.0-py3-none-any.whl -i https://mirrors.aliyun
.com/pypi/simple/ --trusted-host mirrors.aliyun.compip install mtk_converter-8.13.0-cp310-cp310-manylinux_2_17_x86_64.manylinux2
014_x86_64.whl -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
以上就是neurapilot sdk的入门了解和运行环境的docker 镜像配置。