当前位置：首页 > news >正文

教育网站模板wordpress基础主题站

news 2025/11/15 15:21:10

教育网站模板,wordpress基础主题站,深圳建筑设计公司,工程装饰网手机端可部署的开源大模型目录手机端可部署的开源大模型Qwen2.5 0.5B 7b 推理采用手机内存需要多少Qwen2.5 0.5B不同量化精度下的内存需求Qwen2.5 7B不同量化精度下的内存需求通义千问2.5训练和推理需要的内存和外存推理阶段1. Qwen2.5 - 7B2. Qwen2.5 - 14B3. Qwen2.5 - 72B…

手机端可部署的开源大模型

- 手机端可部署的开源大模型
- Qwen2.5 0.5B 7b 推理采用手机内存需要多少
- - Qwen2.5 0.5B
  - - 不同量化精度下的内存需求
  - Qwen2.5 7B
  - - 不同量化精度下的内存需求
- 通义千问2.5训练和推理需要的内存和外存
- - 推理阶段
  - - 1. Qwen2.5 - 7B
    - 2. Qwen2.5 - 14B
    - 3. Qwen2.5 - 72B
  - 训练阶段
  - - 1. Qwen2.5 - 7B
    - 2. Qwen2.5 - 14B
    - 3. Qwen2.5 - 72B
  - Qwen2.5 0.5B
  - 推理阶段
  - 训练阶段
- Qwen2.5 3B
- - 推理阶段
  - 训练阶段

OpenELM：由苹果公司开源，在AI代码社区Hugging Face上发布。它由多个旨在高效执行文本生成任务的小模型组成，有2.7亿、4.5亿、11亿与30亿参数四种规模，各模型均有预训练与指令微调两个版本。采用层级缩放策略，在公开数据集预训练后微调，能在商用笔记本电脑甚至部分智能手机上运行。苹果公司在“示例代码许可证”下发布了模型权重等相关内容。
Ministraux：由法国Mistral.AI开源，有Ministral 3B和8B两个版本，专为手机、平板、笔记本等移动设备设计。在文本生成、推理、函数调用和效率方面表现出色，支持128k上下文长度，在主流基准测试平台中的分数较高，超过了谷歌的Gemma-2、Meta的Llama-3.2等模型。
Gemma 2B：谷歌发布的紧凑型高性能LLM，利用多查询注意力机制，减少推理期间对内存带宽的需求，适合内存带宽有限的设备端场景。仅用20亿个参数，在语言理解、推理和安全等方面的学术基准测试上成绩出色，在18项基于文本的任务中，11项表现胜过大小相似的开放模型。
Phi-2：微软的小型模型，有27亿个参数。在某些基准测试中ÿ

查看全文

http://www.dtcms.com/a/611572.html