当前位置: 首页 > news >正文

HuggingFace Transformers

HuggingFace Transformers 是个宝库!📚
截至目前,它支持的模型非常多,涵盖了 NLP(自然语言处理)CV(计算机视觉)音频(语音识别、合成)多模态(文本+图片) 等领域。
而且 HuggingFace 不只是“模型集市”,它还是深度学习模型的“超市”,只要你想用的,几乎都能找到!


✅ HuggingFace Transformers 支持的模型类型(按任务分类)

1. 📖 文本(NLP)模型

➡️ 通用语言模型
模型名称简介
BERT最经典的预训练模型,擅长分类、NER、问答等
RoBERTaBERT 改进版,更强更快
ALBERT参数更少,速度更快,轻量级
ELECTRA高效小模型,训练快,效果好
DeBERTa微软发布,结构优化,效果更强
ERNIE百度研发,知识增强预训练,适合中文
➡️ 生成式模型(文本生成)
模型名称简介
GPT-2/3文本生成,应用于对话、创作
ChatGPT(OpenAI 接口,非 HuggingFace 自带)
GPT-Neo/GPT-JEleutherAI 开源替代 GPT-3,性能不错
GPT-4(API 接口)暂无开源版本,调用需 API
OPT / LLaMAMeta 的大模型开源项目
Qwen阿里达摩院开源的千亿级模型,支持中文/多语言
Baichuan百川智能发布的多语言模型,适合RAG
ChatGLM智谱AI推出,中文友好,RAG 本地化首选
MPTMosaicML 的模型,擅长文本生成
T5 / mT5Google 的文本到文本(Text-to-Text)模型
UL2Google 新一代生成模型,训练目标统一
➡️ 文本嵌入(Embedding)
模型名称简介
SBERTSentence-BERT,句子嵌入,适合相似度、检索
SimCSE轻量高效的无监督句子嵌入
Text2Vec中文优化嵌入模型
BAAI/BGE通用向量模型,检索、问答首选
M3E中英文双语嵌入
GTEGoogle 的多语言文本嵌入模型
➡️ 问答模型(Question Answering)
模型名称简介
DistilBERT-QA轻量级问答模型
RoBERTa-QA强化的问答系统
ChatGLM自带知识库问答能力
Qwen-Chat通用问答,文档分析
➡️ 文本分类、情感分析
模型名称简介
BERT / RoBERTa标准文本分类模型
ELECTRA轻量快速分类模型
ERNIE中文领域分类

2. 👀 视觉模型(CV)

➡️ 图像分类
模型名称简介
ViTVision Transformer,图像分类强模型
Swin Transformer分层视觉模型,图像分析优秀
ResNetCNN 网络经典,仍广泛使用
➡️ 图像生成
模型名称简介
Stable Diffusion文生图模型,图片生成主流
DALL-EOpenAI 出品的文生图模型(接口/API)
Latent Diffusion多模态生成模型
➡️ 多模态
模型名称简介
CLIP图文检索、跨模态模型
BLIP图文生成、问答等多模态任务
FlamingoDeepMind 跨模态大模型
OFAOne For All,适配OCR、VQA、图文任务

3. 🎧 音频模型(ASR、TTS)

➡️ 自动语音识别(ASR)
模型名称简介
WhisperOpenAI 出品的语音识别模型,支持多语言
Wav2Vec2.0Facebook 的语音识别模型
➡️ 文本转语音(TTS)
模型名称简介
ESPnet-TTS日本开发的语音合成工具
FastSpeech轻量高效的文本转语音

4. 🧠 多模态大型模型(LLM+)

模型名称简介
LLaMA / LLaMA2Meta 大模型,适合二次开发
Baichuan 2中文和多语言模型,商业授权清晰
Qwen 1.5阿里大模型,支持推理、创作等多任务
Yi 1.5智谱AI 模型,适合文生文和推理
InternLM 2商汤AI大模型,商用友好

5. 🔧 工具类模型

模型类型模型/工具
文本摘要Bart, Pegasus, LongT5
文本纠错MacBERT, Text2Text-chinese
OCRLayoutLM, Donut
代码生成CodeGen, StarCoder, CodeLlama

✅ 如何查找 HuggingFace 模型?

➡️ 官方网站

👉 https://huggingface.co/models

➡️ 搜索技巧

  • 分类搜索(任务):task: text-classification
  • 按语言筛选(中文):language: Chinese
  • 最多人用(热度排序):downloads / likes
  • 特定模型搜索:qwenchatglmbge 等关键词

✅ 任务 vs 推荐模型速查表

任务推荐模型
文本分类BERT / RoBERTa / DeBERTa
文本生成GPT-2 / GPT-J / ChatGLM
文本摘要BART / PEGASUS / LongT5
文本嵌入SBERT / BGE / M3E / Text2Vec
问答系统ChatGLM / Qwen / LLaMA2-Chat
图像分类ViT / Swin Transformer
图文检索CLIP / BLIP
语音识别Whisper / Wav2Vec2.0
图像生成Stable Diffusion / DALL-E

✅ 常见开源大模型合集(近期流行)

模型领域特点
ChatGLM3中文大模型多任务、RAG 友好
Qwen1.5中文/多语代码、推理、问答全能
Baichuan2多语种商业可用,性能稳定
InternLM2通用模型长文本处理强
Yi 1.5智谱AILLaMA2 优化分支

✅ 你怎么用 HuggingFace Transformers?

➡️ 安装 Transformers 库

pip install transformers

➡️ 模型加载 & 推理(通用套路)

from transformers import AutoTokenizer, AutoModel

model_name = "BAAI/bge-large-zh"  # 也可以换成别的
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

text = "你好,世界"
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)

🚀 结论

HuggingFace Transformers 就像 AI 工具箱
✅ NLP ✅ CV ✅ 音频 ✅ 多模态 ✅ 工具模型
几乎都有!还能轻松组合,自由调用。

相关文章:

  • 【算法笔记】图论基础(二):最短路、判环、二分图
  • Python-金融相关代码讲解
  • 详解Redis 核心特性与基础
  • 【C】高效的 GPIO 读取编码方式
  • 深入理解智能家居领域中RS485、Modbus、KNX 和 Zigbee协议概念
  • AI编程工具
  • 从切图仔到鸿蒙开发01-文本样式
  • 如何查看Unity打包生成的ab文件
  • 2024年MathorCup数学建模A题移动通信网络中PCI规划问题解题全过程文档加程序
  • c++ (8) string类
  • 灵茶山艾府基础算法精讲
  • 享元模式(Flyweight Pattern)
  • Federated learning client selection algorithm based on gradient similarity阅读
  • 《鸿蒙携手AI:解锁智慧出行底层逻辑》
  • 高速工业相机的核心特点及多领域应用
  • Java中抽象类和接口
  • 详解堆排序(超详细)
  • AI Tokenization
  • Docker 镜像构建与优化
  • 修形还是需要再研究一下
  • 摩天大楼天津117大厦复工背后:停工近十年,未知挑战和压力仍在
  • 是否进行了及时有效处置?伤者情况如何?辽阳市相关负责人就饭店火灾事故答问
  • 李铁案二审驳回上诉,维持一审有期徒刑20年的判决
  • 从孔雀尾巴到蒙娜丽莎,一个鸟类学博士眼中的“美”
  • 万科:一季度营收近380亿元,销售回款率超100%
  • 上海通报5起违反中央八项规定精神问题