当前位置: 首页 > news >正文

【大模型】Transformers基础组件 - Tokenizer

文章目录

  • 1. Tokenizer的基本使用
    • 1.1 Tokenizer的加载及保存
    • 1.2 分词
    • 1.3 索引转换
  • 2. Tokenizer的训练
    • 2.1 BPE分词
    • 2.2 分词器训练
  • 参考资料

Hugging Face 的 Transformers 库是目前最流行和功能最强大的自然语言处理(NLP)库之一,提供了对大量预训练模型的访问和支持。这些模型涵盖了文本生成、文本分类、命名实体识别、机器翻译等多种任务。Hugging Face 的 Transformers 库提供了 Tokenizer(分词器)、Model(模型)、Pipeline(流水线)等模块,便于灵活使用。

本篇博客我们主要介绍基于Hugging Face 的 Transformers 库进行Tokenizer的基本使用Tokenizer的训练

1. Tokenizer的基本使用

本部分内容主要参考博客: 【Transformers基础入门篇3】基础组件之Tokenizer

HuggingFace的Transformers库中提供了许多经典大模型(如BERT、GPT、Llama等)的Tokenizer,可以基于 AutoTokenizer 来自动适配并使用。

# 先从transformers 导入 AutoTokenizer 
from transformers import AutoTokenizer
input = 'What is machine learning?'

1.1 Tokenizer的加载及保存

  • 从HuggingFace加载,输入模型名称或者路径,即可加载对应的分词器
model_path = '../model/Meta-Llama-3-8B'
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
  • 将tokenizer 保存到本地
tokenizer.save_pretrained("./llama_tokenizer")
  • 从本地加载tokenizer
tokenizer = AutoTokenizer.from_pretrained("./llama_tokenizer/")
  • 查看词典
print(tokenizer.vocab)  # 查看词典

输出的部分词典如下:

'Äıte': 122957, 'į°ìĿ´': 47318, 'Ġpropia': 98429, 'Ġobscene': 84109, 'Ġstehen': 65957, 'Ġexpansions': 78588, 'ĠpÅĻÃŃ': 100578, 'nite': 62664, 'Emp': 29831, 'ui': 2005, 'g': 70, 'ĠPlatform': 17916, 'ĠHanson': 76313, '-suite': 92674, 'Term': 17695, 'ιÏĥÏĦο': 122974, 'Ġgord': 94913,

其中,Ġ是拉丁文表示,代表分词中的空格。

  • 查看词典大小
print(tokenizer.vocab_size)  # 查看词典的大小

输出如下:

128000

1.2 分词

tokenizer.tokenize() 将输入文本拆分为 token 列表。它只负责将文本分词为子词单元(subword),而不进行其他处理(如添加特殊标记符、转换为 token ID 等)

input = 'What is machine learning?'
tokens = tokenizer.tokenize(input)
print('tokens:', tokens)

输出如下:

tokens: ['What', 'Ġis', 'Ġmachine', 'Ġlearning', '?']

1.3 索引转换

(1)基于tokenizer.encode函数

在 tranformers 库中,我们可以直接基于 tokenizer.encode函数将词序列转换为token的id序列。

ids = tokenizer.encode(input)
print('ids:', ids)

输出如下:

ids: [3923, 374, 5780, 6975, 30]

(2)基于 tokenizer.convert_ 系列函数

如果我们想详细的看到整个转换的过程,可以基于 tokenizer.convert_ 系列函数进行处理,如下所示:

tokens = tokenizer.tokenize(input)

# 将词序列转换为id序列
ids_1 = tokenizer.convert_tokens_to_ids(tokens)
print('ids_1:', ids_1)

# 将id序列转换为token序列
tokens_1 = tokenizer.convert_ids_to_tokens(ids_1)
print('tokens_1:', tokens_1)

# 将token序列转换为string
str_sen = tokenizer.convert_tokens_to_string(tokens_1)
print('str_sen:', str_sen)

输出如下:

ids_1: [3923, 374, 5780, 6975, 30]
tokens_1: ['What', 'Ġis', 'Ġmachine', 'Ġlearning', '?']
str_sen: What is machine learning?

2. Tokenizer的训练

2.1 BPE分词

本文主要以 Byte-Pair Encoding(BPE) 为基础分词算法来介绍Tokenizer的训练。这里,先简单介绍下BPE算法:

  • 训练方法:从字符级的小词表出发,训练产生合并规则以及一个词表
  • 编码方法:将文本切分成字符,再应用训练阶段获得的合并规则
  • 经典模型:GPT, GPT-2, RoBERTa, BART, LLaMA, ChatGLM等

BPE分词算法的详细介绍可以参考我之前的博客:NLP中常见的分词算法(BPE、WordPiece、Unigram、SentencePiece)

2.2 分词器训练

本部分内容主要参考博客:MiniDeepSeek分词器训练流程

针对我们自己有一份语料数据,想从头开始训练自己的大模型的情况,我们可以基于Transformers库训练自己的分词器。

在训练环节,目标是给定语料,通过训练算法,生成合并规则和词表。 BPE算法是从一个字符级别的词表为基础,合并pair并添加到词表中,逐步形成大词表。合并规则为选择相邻pair词频最大的进行合并。具体步骤如下:

  • Step 1.导入必要的库
import random
from tqdm import tqdm
from transformers import AutoTokenizer
import json
from datasets import load_dataset
from tokenizers import (
    decoders,
    models,
    normalizers,
    pre_tokenizers,
    processors,
    trainers,
    Tokenizer,
)
import os
  • Step 2.读取 tokenizer_train.jsonl 文件
def read_texts_from_jsonl(file_path):
    with open(file_path, 'r', encoding='utf-8') as f:
        for line in f:
            data = json.loads(line)
            yield data['text']

# 测试读取数据
data_path = './dataset/tokenizer_train.jsonl'
texts = read_texts_from_jsonl(data_path)

# 打印前几行文本
for i, text in enumerate(texts):
    if i < 5:
        print(text)
    else:
        break
  • Step 3.初始化分词器

首先,通过 models.BPE() 创建了一个基于 Byte-Pair Encoding (BPE) 模型的分词器。

# 初始化tokenizer
tokenizer = Tokenizer(models.BPE())
tokenizer.pre_tokenizer = pre_tokenizers.ByteLevel(add_prefix_space=False)

# 定义特殊token
special_tokens = ["<unk>", "<s>", "</s>"]

# 设置训练器并添加特殊token
trainer = trainers.BpeTrainer(
    vocab_size=6400,
    special_tokens=special_tokens,  # 确保这三个token被包含
    show_progress=True,
    initial_alphabet=pre_tokenizers.ByteLevel.alphabet()
)

print("分词器初始化成功,准备训练。")
  • Step 4.训练分词器
# 读取文本数据
texts = read_texts_from_jsonl(data_path)

# 训练tokenizer
tokenizer.train_from_iterator(texts, trainer=trainer)

print("分词器训练完成!")
  • Step 5.保存分词器
    在训练完毕之后,还需要设置解码器 (tokenizer.decoder = decoders.ByteLevel()) ,这是为了在生成文本时正确地将分词器产生的 token 序列还原回原始文本。
# 设置解码器
tokenizer.decoder = decoders.ByteLevel()

# 保存tokenizer
tokenizer_dir = "./model/miniDeepSeek_tokenizer"
os.makedirs(tokenizer_dir, exist_ok=True)
tokenizer.save(os.path.join(tokenizer_dir, "tokenizer.json"))
tokenizer.model.save("./model/miniDeepSeek_tokenizer")

# 手动创建配置文件
config = {
    "add_bos_token": False,
    "add_eos_token": False,
    "add_prefix_space": True,
    "added_tokens_decoder": {
        "0": {
            "content": "<unk>",
            "lstrip": False,
            "normalized": False,
            "rstrip": False,
            "single_word": False,
            "special": True
            },
        "1": {
            "content": "<s>",
            "lstrip": False,
            "normalized": False,
            "rstrip": False,
            "single_word": False,
            "special": True
            },
        "2": {
            "content": "</s>",
            "lstrip": False,
            "normalized": False,
            "rstrip": False,
            "single_word": False,
            "special": True
            }
    },
    "bos_token": "<s>",
    "clean_up_tokenization_spaces": False,
    "eos_token": "</s>",
    "legacy": True,
    "model_max_length": 1000000000000000019884624838656,
    "pad_token": None,
    "sp_model_kwargs": {},
    "spaces_between_special_tokens": False,
    "tokenizer_class": "PreTrainedTokenizerFast",
    "unk_token": "<unk>",
    "use_default_system_prompt": False,
    "chat_template": "{% if messages[0]['role'] == 'system' %}{% set system_message = messages[0]['content'] %}{% endif %}{% if system_message is defined %}{{ system_message }}{% endif %}{% for message in messages %}{% set content = message['content'] %}{% if message['role'] == 'user' %}{{ '<s>user\\n' + content + '</s>\\n<s>assistant\\n' }}{% elif message['role'] == 'assistant' %}{{ content + '</s>' + '\\n' }}{% endif %}{% endfor %}"
}

# 保存配置文件
with open(os.path.join(tokenizer_dir, "tokenizer_config.json"), "w", encoding="utf-8") as config_file:
    json.dump(config, config_file, ensure_ascii=False, indent=4)

print("Tokenizer 保存成功!")

保存完成的分词器相关文件如下所示:
在这里插入图片描述

参考资料

  • 【Transformers基础入门篇3】基础组件之Tokenizer
  • MiniDeepSeek分词器训练流程
  • 【深度学习技术系列】大模型基础组件 - Tokenizer

相关文章:

  • 2024年职高单招或高考计算机类投档线
  • Python基于Django的人脸识别上课考勤管理系统【附源码】
  • flink jobgraph详细介绍
  • Golang GORM系列:GORM并发与连接池
  • 未来游戏:当人工智能重构虚拟世界的底层逻辑
  • 【mysql】数据类型介绍-空间类型-空间索引
  • Docker换源加速(更换镜像源)详细教程(2025.2最新可用镜像,全网最详细)
  • 机械学习基础-10.从时间序列数据中学习-数据建模与机械智能课程自留
  • LabVIEW的吞雨测控系统
  • 探讨如何加快 C# 多层循环的速度效率
  • 软件测试:定义和实质
  • 观望=没有!
  • 利用websocket检测网络连接稳定性
  • MySQL 清空表的数据
  • CommonLang3-使用介绍
  • SQL知识体系
  • 统一的多摄像头3D感知框架!PETRv2论文精读
  • RV1126解码模块初始化(二)
  • 图床 PicGo+GitHub+Typora的下载安装与使用
  • 开源Web主机控制面板ISPConfig配置DNS
  • 内塔尼亚胡:以军将在未来几天“全力进入”加沙
  • 美国4月CPI同比上涨2.3%低于预期,为2021年2月来最小涨幅
  • 白天气温超30℃的北京,晚间下起了冰雹
  • 火车站员工迟到,致出站门未及时开启乘客被困?铁路部门致歉
  • 澎湃思想周报|欧洲胜利日之思;教育监控与学生隐私权争议
  • 专访|西蒙·斯特朗格:以“辞典”的方式讲述二战家族史