如何解决 pip install 安装报错 ModuleNotFoundError: No module named ‘tokenizers’ 问题
Python系列Bug修复PyCharm控制台pip install报错：如何解决 pip install 安装报错 ModuleNotFoundError: No module named ‘tokenizers’ 问题
摘要
在使用 PyCharm 2025 开发 Python 项目的过程中，很多同学在控制台执行 pip install 或运行项目时，经常会遇到一个令人头疼的问题：
ModuleNotFoundError: No module named ‘tokenizers’
这个报错最典型的场景出现在：
- 安装 HuggingFace 的
transformers、datasets等依赖库时 - 第三方包依赖
tokenizers却没有正确安装 - 或者开发环境配置不一致导致 import 失败
接下来，我们将对这个问题进行深度剖析，并给出多种可行的解决方案。
文章目录
- Python系列Bug修复PyCharm控制台pip install报错：如何解决 pip install 安装报错 ModuleNotFoundError: No module named 'tokenizers' 问题
- 摘要
- 一、开发环境说明
- 二、问题场景与错误日志
- 三、常见原因分析
- 四、解决方案流程图
- 五、详细解决方案
- 1. 确认包是否安装
- 2. 切换国内镜像源（加速解决网络问题）
- 3. 检查 Python 解释器和虚拟环境
- 4. 忘记 import
- 5. 缺少 `__init__.py`
- 6. 检查版本兼容性
- 7. 确认 PYTHONPATH
- 8. 更新 pip
- 9. 扩展方案：使用 Conda 环境
- 六、总结
- 七、总结表格
- 八、更多资源
- 作者✍️名片
一、开发环境说明
- 系统：macOS Sonoma
- Python版本：3.12
- PyCharm版本：2025 专业版
- pip版本：24.x
二、问题场景与错误日志
在 PyCharm 的 Terminal 控制台执行：
pip install transformers
运行项目时却提示：
ModuleNotFoundError: No module named 'tokenizers'
Markdown > 引用语法示例：
提示：即使你已经执行过
pip install tokenizers，仍然可能出现该问题。
三、常见原因分析
- 依赖包没有正确安装
- 包名拼写错误或环境隔离（虚拟环境 vs 系统环境）
- 网络问题，pip 默认源下载失败
- 忘记 import
- 缺少
__init__.py文件 - 版本冲突（例如
transformers要求tokenizers>=0.13） - PYTHONPATH 未设置 或路径不在 sys.path
- 相对导入使用不当
- pip 版本过旧
四、解决方案流程图
五、详细解决方案
1. 确认包是否安装
pip show tokenizers
如果没有安装，执行：
pip install tokenizers -U
2. 切换国内镜像源（加速解决网络问题）
编辑 ~/.pip/pip.conf（mac/Linux）或 C:\Users\<用户名>\pip\pip.ini（Windows）：
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
常见国内源对比表格：
| 镜像源名称 | 地址 |
|---|---|
| 清华源 | https://pypi.tuna.tsinghua.edu.cn/simple |
| 阿里源 | https://mirrors.aliyun.com/pypi/simple/ |
| 豆瓣源 | https://pypi.doubanio.com/simple/ |
3. 检查 Python 解释器和虚拟环境
- 在 PyCharm
Settings -> Project Interpreter确认环境 - 使用
which python查看当前解释器
4. 忘记 import
有时候只是写漏了：
import tokenizers
5. 缺少 __init__.py
如果是自建模块，需要在包目录下添加：
touch __init__.py
6. 检查版本兼容性
pip install "tokenizers>=0.13,<0.15"
7. 确认 PYTHONPATH
echo $PYTHONPATH
如果路径缺失，可以在 .bashrc 或 .zshrc 添加：
export PYTHONPATH=/path/to/your/project:$PYTHONPATH
8. 更新 pip
pip install --upgrade pip
9. 扩展方案：使用 Conda 环境
如果问题依旧，可以考虑：
conda install -c conda-forge tokenizers
六、总结
我们将 pip install tokenizers 报错可能的原因与解决方案进行了系统梳理。常见解决方法可以总结为：
- 检查是否正确安装
- 切换国内镜像源
- 更新 pip / 版本兼容性
- 确认虚拟环境解释器
- 设置 PYTHONPATH
七、总结表格
| 问题类型 | 解决方案 |
|---|---|
| 包未安装 | pip install tokenizers |
| 网络下载失败 | 切换国内源，配置 pip.conf |
| 版本不兼容 | pip install tokenizers==0.13.3 |
| import错误 | import tokenizers |
| 缺少 init.py | 在目录中添加空文件 |
| 路径不在sys.path | 配置 PYTHONPATH |
八、更多资源
🔔 温馨提示：更多Bug解决方案请查看
==> 全栈Bug解决方案专栏 https://blog.csdn.net/lyzybbs/category_12988910.html
作者✍️名片
