当前位置： 首页 > wzjs >正文

龙岗网站设计代理商做淘宝详情页的素材网站

wzjs 2025/9/6 12:01:33
龙岗网站设计代理商,做淘宝详情页的素材网站,dw做网站怎么连接gif图片,ip池代理一起来轻松玩转文心大模型吧👉一文心大模型免费下载地址: https://ai.gitcode.com/theme/1939325484087291906 前言 2025年6月30日，百度正式开源文心大模型4.5系列（ERNIE 4.5），涵盖10款不同参数规模的模型&#xff0…

一起来轻松玩转文心大模型吧👉一文心大模型免费下载地址: https://ai.gitcode.com/theme/1939325484087291906

前言

2025年6月30日，百度正式开源文心大模型4.5系列（ERNIE 4.5），涵盖10款不同参数规模的模型，包括了47B（470亿）、3B（30亿）激活参数的异构混合专家架构多模态MoE大模型，及0.3B（3亿）参数的稠密型模型，预训练权重与推理代码均完全开放。除此之外还提供完整的ERNIEKit微调工具链和FastDeploy推理框架，兼容主流生态，适用于各种业务场景。

目前，这些模型已可在GitCode代码托管平台进行下载，博主这里也是第一时间对文心开源模型ERNIE-4.5-0.3B-Paddle进行了私有化部署测评。

文心模型开源系列

二、文心开源大模型私有化部署

从GitCode平台可以看到，百度此次开源的文心大模型有十多款，形成了从0.3B到424B参数的梯度覆盖，不仅包含文本模型还包含了视觉多模态模型（VLM），除最小的0.3B 模型外，其余模型都采用异构多模态MoE（专家混合模型：Mixture of Experts）架构。

在这里插入图片描述

这里咱们选择的是ERNIE-4.5-0.3B-Paddle大模型，只包含了3亿参数量，属于一个轻量化模型，可以进行本地部署，对显卡要求没有300B或者28、21B参数的模型（需要80G显卡）要求高。
在这里插入图片描述

1、准备好系统镜像和显卡

博主这里准备是英伟达的4090显卡（24G显存），用来跑ERNIE-4.5-0.3B-Paddle的轻量化模型是足够的。
在这里插入图片描述

操作镜像，这里准备的是Ubuntu 20.04系统，加上必要的环境CUDA12\Python3.10等，如下图所示：

在这里插入图片描述

2、下载huggingface-cli

huggingface-cli 是 Hugging Face 官方提供的命令行工具，自带完善的下载模型功能

pip install -U huggingface_hub
3、如果下载受限制，可以设置以下国内环境变量，
2. 设置环境变量
Linux
export HF_ENDPOINT=https://hf-mirror.comWindows Powershell
$env:HF_ENDPOINT = "https://hf-mirror.com"建议将上面这一行写入 ~/.bashrc。

4、下载大模型

我们选择的是ERNIE-4.5-0.3B-Paddle大模型

在这里插入图片描述

下载命令：

#cDownload Model
huggingface-cli download baidu/ERNIE-4.5-0.3B-Paddle --local-dir baidu/ERNIE-4.5-0.3B-Paddle

在这里插入图片描述

5、下载 paddlepaddle-gpu

#注意这里的版本需要根据自己的cuda的版本去定python3 -m pip install paddlepaddle-gpu==3.1.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu118/
Looking in indexes: https://www.paddlepaddle.org.cn/packages/stable/cu118/

6、下载fastdeploy-gpu

FastDeploy的安装按这个文档，不要直接pip install，有要求，你的显卡选择对应命令，
下载地址：https://paddlepaddle.github.io/FastDeploy/get_started/installation/nvidia_gpu/


#1、如果是 For SM86/89 architecture GPUs(e.g A10/4090/L20/L40):执行这个命令：
python -m pip install fastdeploy-gpu -i https://www.paddlepaddle.org.cn/packages/stable/fastdeploy-gpu-86_89/ --extra-index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple#2、如果是For SM80/90 architecture GPUs(e.g A30/A100/H100/):执行这个命令
python -m pip install fastdeploy-gpu -i https://www.paddlepaddle.org.cn/packages/stable/fastdeploy-gpu-80_90/ --extra-index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

在这里插入图片描述

7、运行模型

python -m fastdeploy.entrypoints.openai.api_server \--model baidu/ERNIE-4.5-0.3B-Paddle \--port 8180 \--metrics-port 8181 \--engine-worker-queue-port 8182 \--max-model-len 32768 \--max-num-seqs 32

8、成功运行提示

Launching metrics service at http://0.0.0.0:8181/metrics

在这里插入图片描述

到这一步，咱们的模型就算部署成功了，咱们接下来，写一个测试脚本，看看模型提供的API接口能否调用成功。

9、编写脚本测试调用 test.py

test.py 测试脚本如下所示：

import openai
host = "0.0.0.0"
port = "8180"
client = openai.Client(base_url=f"http://{host}:{port}/v1", api_key="null")response = client.chat.completions.create(model="null",messages=[{"role": "system", "content": "你是一位电商售后客服专家，擅长处理客户售后服务问题，对产品使用体验、物流配送、售后服务、退换货流程和日常保养等都有丰富的实践经验。"},{"role": "user", "content": "请问一般的产品售后有哪些保障，如何退换货？."},],stream=True,
)
for chunk in response:if chunk.choices[0].delta:print(chunk.choices[0].delta.content, end='')
print('\n')

在这里插入图片描述

10、大模型回答

运行命令：python test.py

在这里插入图片描述

大模型调用成功请求日志
在这里插入图片描述

到这里我们的大模型就私有化部署成功了。

对于算力有限的中小开发者，0.3B参数的稠密型模型可降低部署门槛，MoE模型则能满足企业级复杂任务的需求。这种分层供给思路，让不同资源条件的使用者都能找到适配的工具。

三、文心开源大模型官方Benchmark(基准测试)对比

因为算力有限，博主这里找到百度官方来做的基准测试图，我们可以看到文心4.5系列21B和30B的多模态大模型在Benchmark测评上与其他开源模型相比,优秀的效果体现。

大模型的Benchmark（基准测试）是用于评估和比较大型机器学习模型（如GPT、DeepSeek、PaLM等）性能的一系列标准化任务、数据集和评价指标，常用来作为评价模型质量的标准之一。

在这里插入图片描述

四、文心开源大模型（ERNIE 4.5）核心技术架构探索

与常规的单模态MoE不同，此次百度开源的ERNIE 4.5模型是一种异构混合型，也就是通过“分而治之”策略提升模型性能的人工智能架构：将多个不同类型的专家模块集成在一起，每个输入仅激活部分相关的专家模块，从而在不显著增加计算量的前提下大幅提升模型容量。

我们选择一个ERNIE-4.5-21B-A3B-Base-Paddle,21b参数的开源模型的工程目录点击进去查看，如下图所示
在这里插入图片描述

文心开源大模型（ERNIE 4.5）核心技术包含以下几点:

1、异构多模态MoE架构：

异构多模态：
多模态：模型能“看懂”图片、“听懂”语音、“读懂”文字，还能把三者结合起来理解（比如看到一张“猫在沙发上”的图片，能生成对应的文字描述）。
异构：不同任务由不同的“专家模块”处理，比如文本任务由“语言专家”负责，图片任务由“视觉专家”负责，避免“一刀切”导致的效率低下。

MoE（专家混合模型）：
原理：模型内部有多个“专家”（类似不同领域的专家），输入数据时，系统会自动分配给最擅长的专家处理。
优势：避免单一模型“什么都做但都不精”的问题，同时通过动态激活专家，减少计算量，提升效率。

2、多模态混合专家模型预训练

通过模态隔离路由和异构专家并行策略，实现文本与视觉模态的联合训练，避免模态间干扰

3、ERNIE 4.5的架构设计理念分析

  1. 专家分工：三类专家各司其职
    文本专家：专注处理语言任务（如翻译、写文章、代码生成）。
    视觉专家：优化图片/视频处理（如识别物体、分析场景）。
    共享专家：捕捉跨模态的通用特征（比如文字和图片的关联性）。

  2. 动态路由：智能分配任务
    门控网络：相当于“任务调度员”，根据输入内容（文本/图片/视频）自动选择最合适的专家组合。
    稀疏激活：每个任务只激活少量专家（比如处理文本时，主要用文本专家，少量用共享专家），减少计算量。

  3. 效率优化：又快又省
    自适应分辨率：视觉专家支持任意尺寸图片输入，避免裁剪导致的细节丢失。
    混合精度训练：用更低的计算资源训练更大模型，成本降低但性能不降。
    专家并行：分布式训练中，专家模块分布在不同设备，提升训练速度。

4、 对比传统模型：ERNIE 4.5的优势

  • ERNIEKit开发套件：覆盖微调（SFT）、对齐（DPO）到量化的全流程开发。

  • FastDeploy部署工具：解决多硬件平台高效推理问题，降低部署门槛。

维度传统模型ERNIE 4.5
处理模态单一模态（如只能处理文本）多模态（文本+图片+视频）
计算效率高（可能浪费资源）低（动态激活专家）
专业性泛泛而谈各领域专家精准处理
部署难度高（需复杂调优）低（配套工具链支持）

五、项目总结

百度开源文心4.5系列，不仅以多模态架构创新、高效训练体系构建及先进量化技术突破，彰显其在人工智能领域的技术领导力，更通过开源战略的深度实践，为全球大模型技术生态注入普惠动能。此次开源犹如为智能革命装上涡轮引擎，当技术民主化的浪潮冲破产业壁垒，真正受益的将是扎根开源沃土的万千创新者——他们以效率为刃，正在智能时代的画布上勾勒出前所未有的创新图景。这场由技术普惠驱动的变革，不仅重构了AI开发范式，更在产业升级的深水区开辟出一条由开放创新引领的智能进化之路。

文心是百度自主研发的产业级知识增强大模型，以创新性的知识增强技术为核心，从单模态大模型到跨模态、从通用基础大模型到跨领域、跨行业持续创新突破，构建了模型层、工具与平台层，百度开源文心大模型这一动作，大幅降低人工智能开发和应用门槛，加快人工智能大规模产业化进程并拓展人工智能技术边界。

一起来轻松玩转文心大模型吧👉一文心大模型免费下载地址: https://ai.gitcode.com/theme/1939325484087291906


文章转载自：

http://uBe7xTYo.wtdyq.cn
http://v0ortx7s.wtdyq.cn
http://22SdwGXD.wtdyq.cn
http://Wi0BaoB6.wtdyq.cn
http://pGmtr4Bo.wtdyq.cn
http://h3LbxDRO.wtdyq.cn
http://VLxwKwSc.wtdyq.cn
http://62MgoNXm.wtdyq.cn
http://8pYQpDcv.wtdyq.cn
http://0xDraG6I.wtdyq.cn
http://Hs0s2O53.wtdyq.cn
http://hSfs8WY1.wtdyq.cn
http://xZewlIrm.wtdyq.cn
http://EjPlaNgu.wtdyq.cn
http://jRG4RUvY.wtdyq.cn
http://baZgaQOk.wtdyq.cn
http://Xga344uu.wtdyq.cn
http://RQLUBPUT.wtdyq.cn
http://Cabj8ywg.wtdyq.cn
http://EhU32gYH.wtdyq.cn
http://nee6PF6d.wtdyq.cn
http://RzcUyUng.wtdyq.cn
http://wD5uLS69.wtdyq.cn
http://CeHEui0S.wtdyq.cn
http://DKkdzTK9.wtdyq.cn
http://u6zdQitO.wtdyq.cn
http://VSJrcGlt.wtdyq.cn
http://U5KwPCzf.wtdyq.cn
http://MLlmQ6ho.wtdyq.cn
http://Qc1c2eRT.wtdyq.cn
http://www.dtcms.com/wzjs/630310.html

相关文章：

  • 北京专业网站建设如何更改wordpress语言
  • 2020国内十大小说网站排名网站编辑工作
  • 西安招商型网站建设陕西专业网站建设价格
  • 在线教学网站建设深圳响应式网站价格
  • 网站制作价目表微信小程序商城开源源码
  • 阿克顿巴网站建设的目的成都企业网站开发
  • 什么是营销型手机网站建设ssc网站开发
  • 做隐私的网站营销网络怎么写
  • 网站 改版 方案江苏网站备案
  • 怎样做集装箱网站网站结构有哪些
  • 网站可分析如何做静态网页
  • 金华企业做网站wordpress怎么修改ico
  • 湘潭seo网站优化黄骅港船舶动态
  • 建设银行网站怎么查自己账号中小企业建立网站最经济的方式
  • 广东网站建设公司排名网站不备案有什么后果
  • 个人网站怎么做联盟推广创意设计师是做什么的
  • 服装网站建设可行性分析淮安网站开发工程师招聘网
  • 大连做网站比较好的网站制作需要的软件
  • 建筑官方网站网络推广网络营销外包
  • 景观毕业设计作品网站数据网站建设多少钱
  • 网站维护一年多少费wordpress国内怎么上
  • 门户网站建设关系到什么都不会怎么做网站
  • 高青外贸公司网站建设产品宣传型企业网站怎么建设
  • 做网站有自己的服务器吗中学网站建设方案 分校区
  • 个人网站可以做哪些内容珠海华兴建设工程有限公司网站
  • 烟台开发区网站制作公司单纯做网站的公司
  • 电子商务网站设计代做移动网站如何做权重
  • 网站开发案例腾讯云可以做网站吗
  • 网站建设发展方向及前景展望wordpress 添加角色
  • 面签拍照 网站备案sem是什么意思呢