Unified AI Container

AI时代已经到来，从大模型到小模型，已经深入到各行各业，随之而来的是各种各样的AI加速器，包含PCIE/M.2/SOC等模式，而且种类繁多。目前主流的推理基于Python, 但是Python效率并不是那么理想，特别是一些成本敏感并且要求实时处理的领域，比如视频处理。
为了使AI模型工程师专注于模型，我们推出了AI Container , AI Container 完全基于C++, 适配多厂家的AI加速器API。
AI模型工程师训练好模型直接提交给AI Container，后续的推理和规则都有AI Container完成。
AI Container支持主流的Yolo/Arcface/LPRnet等模型，AI模型工程师可以随时在线替换模型并验证模型性能。
AI Container支持嵌入式SOC部署，从而大大降低AI部署的成本。
USC安防平台和HPro AI NVR都将支持AI Container。
第一期支持的PCIE卡有NVIDIA GPU/Atlas 300V /BM1684x PCIE， 支持的M.2 加速模块有Hailo8 M.2/AX650n M.2/AX8850 M.2，支持的SOC有 BM1688 SOC/RK3588 SOC/AX650n SOC。