当前位置：首页 > news >正文

OpenAI重新开源！gpt-oss-20b适配昇腾并上线魔乐社区

news 2025/8/22 10:58:06

2025年8月5日，OpenAI发布了两款全新的开源权重语言模型，均为混合专家（MoE）架构，其规模设计可在消费级GPU和云端的多种硬件上高效运行。这些模型采用 Apache 2.0 许可协议，因此可用于蒸馏到其他推理模型中、部署到商业产品里，且无下游使用限制。这两款模型分别是规模较小的 gpt-oss-20b（总参数 210 亿，激活参数 36 亿）和规模较大的 gpt-oss-120b（总参数1170亿，激活参数 51 亿）。此次发布的亮点在于，OpenAI 推出的这两款开源模型在性能和策略上带来了显著变化 —— 它的性能甚至优于该公司自家的部分API产品。

魔乐社区第一时间完成了 gpt-oss-20b模型的昇腾适配，欢迎广大开发者下载体验！

🔗昇腾适配模型：

https://modelers.cn/models/State_Cloud/gpt-oss-20b-BF16

🔗模型权重：

https://modelers.cn/models/Modelers_Park/gpt-oss-20b

模型介绍

gpt-oss-20b：适用于低延迟、本地或特定场景。20B模型在常见基准测试中的结果与OpenAI的o3-mini相当，仅需16GB内存就能在边缘设备上运行。

gpt-oss-120b：适用于需要高推理能力的生产级和通用型场景。120B模型在核心推理基准测试中性能接近OpenAI的o4-mini，且能在单张 80GB GPU 上高效运行。

除此之外，本次开源的两款模型在工具使用、少样本函数调用、思维链推理和HealthBench测试中均表现优异，甚至超过了OpenAI o1和GPT-4o等专有模型。

核心亮点：

• 宽松的Apache 2.0许可证：可自由开发，不受 copyleft 限制及专利风险影响，非常适合实验、定制及商业部署。

• 可配置的推理投入：可根据用户的具体用例和延迟需求，轻松调整推理投入（低、中、高）。

• 完整的思维链：可完整访问模型的推理过程，从而简化调试并提升输出结果的可信度。

• 支持微调：支持参数级微调，可根据您的特定用例对模型进行完全定制。

• 智能体能力：具备原生的函数调用、网页浏览、Python 代码执行及结构化输出能力。

• 原生MXFP4量化：模型的混合专家（MoE）层采用原生 MXFP4 精度训练，这使得 gpt-oss-120b 可在单张 H100 GPU 上运行，而 gpt-oss-20b 模型仅需 16GB 内存即可运行。

以下为gpt-oss-20B模型在昇腾上的推理步骤。

推理

Transformers & Torch

1. 获取MindIE镜像

下载链接：https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f

2. 执行命令

sudo docker run -itd \    --net=host \    --name=gpt-oss-20b \    --device=/dev/davinci{0,1,2,3} \    --device=/dev/davinci_manager \    --device=/dev/devmm_svm \    --device=/dev/hisi_hdc \    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \    -v /usr/local/Ascend/add-ons/:/usr/local/Ascend/add-ons/ \    -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \    -v /usr/local/sbin/:/usr/local/sbin/ \    -v /var/log/npu/conf/slog/slog.conf:/var/log/npu/conf/slog/slog.conf \    -v /var/log/npu/profiling/:/var/log/npu/profiling \    -v /var/log/npu/dump/:/var/log/npu/dump \    -v /var/log/npu/:/usr/slog \    -v /etc/localtime:/etc/localtime \    -v /your_path/gpt-oss-20b-BF16:/gpt-oss-20b-BF16 \    swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.1.RC1-800I-A2-py311-openeuler24.03-lts /bin/bash

3. 进入容器并安装软件包

pip install transformers==4.55.0pip install torch==2.7.1+cpupip installt torch-npu==2.7.1rc1

4. 运行推理脚本

from transformers import pipelineimport torchimport torch_npumodel_id = "/gpt-oss-20b-BF16"pipe = pipeline(    "text-generation",    model=model_id,    torch_dtype="auto",    device_map="auto",)messages = [    {"role": "user", "content": "Explain quantum mechanics clearly and concisely."},]outputs = pipe(    messages,    max_new_tokens=256,)print(outputs[0]["generated_text"][-1])