房产网站加盟网站建设期末实践报告

最近在进行AI大模型的本地架构，借助AI工具，以下是整理后的python环境友好的AI大模型分类归纳，按开发机构/团队分组，并标注模型规模及核心特点，可以为广大有志于在本地架构AI大模型的技术人员提供参考。

---

1. BAAI（北京智源人工智能研究院）

• BGE系列（文本嵌入模型）
  • BGE-Large-EN-V1.5
    • 特点：英语文本嵌入，MTEB榜单第一，适用于检索和语义相似度。
  • BGE-Small-EN-V1.5
    • 特点：轻量级嵌入模型，高效检索优化。

---

2. Google

• Gemma系列（文本生成）
  • CodeGemma-2B/7B/7B-IT
    • 参数规模：20亿/70亿，代码生成专用。
  • Gemma-2B-Instruct/7B/7B-IT
    • 特点：指令调优版，支持对话和复杂文本生成。

---

3. Meta（Llama系列）

• 基础模型
  • Llama-2-7B/13B/70B
    • 参数规模：7B~70B，通用文本生成。
  • Llama-3-8B/70B及Instruct版
    • 特点：第三代模型，支持更长上下文（如70B版）。
• 专用变体
  • CodeLlama-7B/13B/34B
    • 特点：代码生成优化，支持多语言编程。
  • Llama-2-7B-Chat
    • 特点：对话场景RLHF调优。

---

4. Mistral AI

• Mistral系列
  • Mistral-7B/7B-Instruct
    • 特点：7B参数，支持32k上下文。
  • Mixtral-8x7B/8x22B及Instruct版
    • 特点：MoE架构（8专家模型），高性能生成。
• 合作模型
  • OpenHermes-2.5-Mistral-7B（与Teknium合作）
    • 特点：融合代码数据集，综合性能提升。

---

5. Cohere

• Command系列
  • Command-R+（104B）
    • 特点：1040亿参数，支持10语言RAG。
  • Command-R-V01（35B）
    • 特点：多语言生成，工具调用优化。

---

6. DeepSeek-AI

• DeepSeek-Coder系列
  • DeepSeek-Coder-7B/33B-Instruct
    • 特点：代码生成与指令跟随，参数7B~33B。
  • DeepSeek-Coder-V2-Lite-Instruct
    • 特点：轻量级代码助手。

---

7. Databricks

• DBRX-Instruct（132B）
  • 特点：MoE架构（1320亿总参数），通用语言理解与生成。

---

8. 其他机构/团队

• Microsoft
  • Phi-3-Mini-4K-Instruct（3.8B）
    • 特点：轻量级推理优化，4k上下文。
• Apple
  • OpenELM-1.1B/3B-Instruct
    • 特点：高效生成，面向资源受限场景。
• Qwen（阿里云）
  • Qwen1.5-4B/7B/14B/72B-Chat
    • 特点：多语言支持，32k上下文。
  • Qwen2-7B/72B-Instruct
    • 特点：131k超长上下文，数学与推理强化。
• 01.AI（零一万物）
  • Yi-6B/9B/34B-200k
    • 特点：双语模型，200k长上下文支持。
• Nomic AI
  • Nomic-Embed-Text-v1.5
    • 特点：长文本嵌入（8k tokens），Matryoshka表征学习。

---

附：轻量级模型

• TinyLlama-1.1B-Chat
  • 特点：1.1B参数，超轻量对话优化。
• Falcon系列（TII UAE）
  • Falcon-7B/40B及Instruct版
    • 特点：高效生成，40B版性能接近Llama-2。

---

关键总结：

• 规模最大：Command R+（104B）、DBRX-Instruct（132B）、Qwen2-72B-Instruct。
• 长上下文：Yi-34B-200k（200k）、Qwen2系列（131k）。
• 代码生成：CodeGemma、CodeLlama、DeepSeek-Coder系列。
• 多语言：Command系列、Qwen系列。
• 高效轻量：Phi-3、TinyLlama、OpenELM。