当前位置：首页 > news >正文

恩智浦 GoPoint 全面解析：初学者的嵌入式 AI 学习指南

news 来源：原创 2025/5/7 8:08:45

[GoPoint 是恩智浦（NXP）为 i.MX 应用处理器推出的一款用户友好的应用程序，旨在帮助开发者快速、轻松地演示 SoC 的关键功能。通过 GoPoint，用户可以在几秒钟内运行预选的演示程序，这些演示程序包含在 NXP 提供的 BSP 中，并遵循 BSP 的季度发布路线图。GoPoint 提供了丰富的交互式演示库和强大的技术支持，帮助开发人员更快、更智能地进行创新。

在这里插入图片描述

一、什么是 GoPoint？

GoPoint 是一个集成在 i.MX Yocto BSP 中的应用程序，提供了一个直观的界面，使开发人员能够轻松访问 i.MX 处理器的特定应用演示。它不仅突出了高级功能，还提供了实用的实现解决方案，并在 GitHub 上提供了应用的源代码和构建配方。GoPoint 确保开发人员获得出色的开箱即用体验，并迅速启动他们的项目。

在这里插入图片描述

二、GoPoint 的主要特性

1. 大量的预构建演示

GoPoint 提供了一个全面的演示库，展示了各种应用程序，每个演示都突出了特定的 i.MX 应用处理器功能。这些演示涵盖了计算机视觉、低功耗音频处理、工业自动化和智能健身等领域。

2. 访问源代码和文档

每个演示都包含开源代码，可通过 GitHub 访问。这种透明度使开发人员能够修改和调整示例，满足其独特需求，提升开发的灵活性和定制性。

3. 轻松与开发工具集成

GoPoint 与恩智浦支持的开发环境兼容，包括基于 Yocto 的 Linux BSP。它包含直观的用户界面，易于使用，并包含分步用户指南，以简化实施。

4. 持续改进

GoPoint 集成在恩智浦的季度 i.MX Linux 板支持包（BSP）更新中。其演示经过严格测试，并每季度更新一次。每个 BSP 版本都会为不同的 i.MX 产品系列引入新功能和演示。

三、GoPoint 支持的演示程序

在 FRDM-IMX93 开发板上，GoPoint 支持以下 9 个演示程序：

图像分类（Image Classification）：使用机器学习任务尝试理解整个图像的内容，目标是通过将图像分配给特定标签来对其进行分类。
目标检测（Object Detection）：检测图像中某一类对象的实例。为每个检测到的对象找到一个边界框和一个类标签。([NXP® Semiconductors Official Site][1])
自拍分割器（Selfie Segmenter）：使用 NPU 加速实例分割模型。该模型允许您对人物肖像进行分割，可用于替换或修改图像的背景。
i.MX 智能健身（i.MX Smart Fitness）：展示 i.MX 的机器学习能力，使用 NPU 加速两个基于深度学习的视觉模型。这些模型一起检测场景中存在的人，并预测 33 个 3D 关键点以生成完整的身体标志，称为姿势估计。从姿势估计中，应用程序跟踪“深蹲”健身练习。
驾驶员监控系统（DMS）：展示在 i.MX 93 平台上实现 DMS 的能力，以及 NPU 带来的性能提升。DMS 总共使用四个机器学习模型来实现面部检测、捕捉面部标志和虹膜标志、吸烟检测和通话检测。
机器学习基准测试（ML Benchmark）：基于 TensorFlow Lite 框架中的 benchmark_model 工具，允许轻松比较在 CPU（Cortex-A）和 NPU 上运行的 TensorFlow Lite 模型的性能。
视频测试（Video Test）：一个简单的演示，允许用户播放摄像头或测试源捕获的视频。它基于 gstreamer 管道。
i.MX 智能厨房（i.MX Smart Kitchen）：展示 i.MX 的多媒体能力，通过语音命令控制的 GUI 模拟交互式厨房。GUI 基于 LVGL（Little Versatile Graphic Library），NXP 的语音智能技术（VIT）支持语音命令。
i.MX 电动自行车 VIT（i.MX E-Bike VIT）：展示 i.MX 的多媒体能力，通过语音命令控制的 GUI 模拟交互式电动自行车。GUI 基于 LVGL，NXP 的语音智能技术（VIT）支持语音命令。

四、如何在 FRDM-IMX93 开发板上体验 GoPoint 演示程序

1. 硬件准备

为了运行 GoPoint 软件，用户至少需要以下硬件：

FRDM-IMX93 开发板
HDMI 显示器
鼠标
USB 摄像头([NXP Community][2])

某些演示程序可能还需要额外的设备，具体可参考用户指南中关于各个演示程序的详细说明。

2. 启动 GoPoint

在 FRDM-IMX93 开发板上，GoPoint 是默认映像的一部分。用户可以通过以下命令启动 GoPoint：

GoPoint

或者

demoexperience

3. 手动下载模型文件

GoPoint 中的一些 AI/ML 相关的演示程序需要从 GitHub 上下载一些模型文件和背景图片。由于国内网络的限制，开发板可能无法直接从 GitHub 下载这些文件。建议用户手动从以下链接下载所需文件：

模型文件：

https://github.com/nxp-imx-support/nxp-demo-experience-assets/tree/lf-6.6.36_2.1.0/models
背景图片：

https://github.com/nxp-imx-support/nxp-demo-experience-assets/tree/lf-6.6.36_2.1.0/images

下载完成后，将上述两个目录中的所有文件拷贝到开发板的以下目录中：

/opt/gopoint-apps/downloads

执行完上述步骤后，演示 GoPoint 中的演示程序时，无需再连接互联网。

五、GoPoint 的技术架构与核心知识点解析

为了让初学者清晰地理解 GoPoint 的工作机制，本章节将深入介绍其技术架构与核心知识点。

（一）AI推理框架的集成

GoPoint 最重要的功能是实现 AI Demo 的快速部署和运行，这一功能的核心是对 AI 推理框架的深度集成。

1. TensorFlow Lite（TFLite）

TensorFlow Lite 是 Google 推出的轻量级深度学习框架，适合边缘计算设备。
GoPoint 利用 TensorFlow Lite 实现轻量化的模型推理，支持模型的量化、优化，满足嵌入式设备性能需求。
示例调用方式：

tensor_filter framework=tensorflow-lite model=/opt/gopoint-apps/models/object_detection.tflite

2. NNStreamer 框架

NNStreamer 是一种面向神经网络推理的流媒体管道，基于 GStreamer 框架开发。
在 GoPoint 中，NNStreamer 提供了便捷的管道式 AI 推理操作，极大简化了模型的加载、数据预处理、推理和后处理操作。
示例管道：

gst-launch-1.0 videotestsrc ! videoconvert ! tensor_converter ! \
tensor_filter framework=tensorflow-lite model=pose_estimation.tflite ! tensor_sink

（二）NPU（神经处理单元）加速原理

GoPoint 中的 AI Demo 核心优势之一是对 NXP i.MX 系列处理器内置 NPU 的充分利用。

NPU 专用于 AI 算法的硬件加速，比通用 CPU 更高效，尤其适合实时视频流推理。
TensorFlow Lite 和 NNStreamer 通过专用 API 调用 NPU 硬件，显著降低延迟，提升实时性能。

例如：

CPU 推理延迟：~100ms
NPU 加速推理延迟：~15ms（性能提升超过 6 倍）

（三）Yocto 项目集成

GoPoint 完全基于 Yocto 项目构建，易于在不同平台间迁移：

提供完整的菜谱（recipe）和层（layer）结构，方便开发者扩展和定制。
Yocto 菜谱路径示例：

meta-imx-demos/recipes-graphics/gopoint/
meta-ml/recipes-support/eiq/

构建命令示例：

bitbake imx-image-full

构建完成后，可快速烧录到设备直接启动 GoPoint。

六、GoPoint 支持的开发板及推荐使用场景

GoPoint 特别适合以下 NXP i.MX 系列开发板和嵌入式 AI 场景：

（一）FRDM-IMX93 开发板

核心优势：
- 基于 i.MX 93 处理器，内置高性能 NPU。
- 适用于实时 AI 场景（如智能健身、实时目标检测、DMS）。
推荐应用场景：
- 边缘计算视频处理
- AI 驾驶员监控（DMS）

（二）i.MX 8M Plus EVK 开发板

核心优势：
- 强大的 NPU 和多媒体处理单元，尤其适合视频和图像处理。
- 高效运行图像分类、物体检测和实时视频分析任务。
推荐应用场景：
- 智慧城市监控
- 工业自动化与质量检测

（三）其他支持 AI 的 i.MX 平台

如 i.MX 8M Mini、i.MX 8M Nano 等，适合轻量级 AI 场景。
推荐用于智能家居、智能零售、医疗健康辅助设备等边缘设备。

七、初学者的GoPoint学习路线推荐（清晰完整）

为了帮助初学者快速掌握 GoPoint 和嵌入式 AI，特整理以下清晰且完整的学习路线：

（一）基础阶段：入门体验与初识AI

环境搭建
- 学习 Yocto 基本构建流程。
- 尝试构建并烧录包含 GoPoint 的标准镜像（imx-image-full）。
初步了解 AI Demo
- 运行图像分类（Image Classification）和目标检测（Object Detection）Demo。
- 直观感受 AI 算法在设备上的推理效果。

（二）进阶阶段：掌握AI框架和模型优化技术

深入学习 TensorFlow Lite 和 NNStreamer
- 学习如何通过 NNStreamer 配置管道加载 AI 模型。
- 学习模型量化技术（Quantization）及其对性能的影响。
熟悉 NPU 加速原理
- 利用 ML Benchmark Demo 对比 CPU 和 NPU 性能差异。
- 掌握如何调用 NPU 提升 AI 模型推理效率。

（三）实战阶段：项目驱动深入理解AI应用开发

智能健身应用开发
- 基于 Smart Fitness Demo，修改 AI 模型用于自定义动作识别（例如瑜伽、健身姿势检测）。
- 学习并掌握姿态估计关键点检测技术。
驾驶员监控系统（DMS）开发
- 深入分析 DMS Demo 中四个 AI 模型的组合使用。
- 学习如何组合人脸检测、特征检测与行为检测模型，开发更高级的监控系统。
智能交互应用开发
- 基于 i.MX Smart Kitchen 或 i.MX E-Bike VIT，学习 LVGL GUI 设计、语音命令开发。
- 掌握如何创建语音与视觉结合的多模态交互界面。