Windows 系统中安装 flash - attn
#工作记录
一、下载 flash_attn
在 Windows 系统中，直接使用 pip 在线安装 flash_attn 很可能失败。
建议从 kingbri1/flash-attention 的 GitHub 发布页面 下载与当前 Python、torch 和 CUDA 版本匹配的 .whl 文件，并从本地进行安装。
Linux版本：
Dao-AILab/flash-attention：快速且节省内存的精确注意力
Windows版本：
Releases · kingbri1/flash-attention · GitHub
下载时需注意版本匹配
-
CUDA 版本
-
torch 版本
-
Python 版本
在该发布页面中，找到包含以下版本信息的文件：
-
文件名中包含
cu124（代表 CUDA 12.4） -
文件名中包含
torch2.6.0 -
文件名中包含
cp310（代表 Python 3.10）
例如，文件名为：
flash_attn-2.7.4.post1+cu124torch2.6.0cxx11abiFALSE-cp310-cp310-win_amd64.whl
注意：如果无法访问上述 GitHub 发布页面，可能是网络问题或链接有误。
请检查网页链接的合法性，并适当重试。
如果问题仍然存在，可以尝试使用其他网络工具或代理访问该页面。
二、准备安装文件
下载好 .whl 文件后，可以选择以下两种方式以便后续安装：
-
将文件移至项目文件夹：将下载的
.whl文件移动到你的项目文件夹中。 -
保留文件在下载目录：如果不想移动文件，可以进入下载目录并复制文件的完整路径。
如：
"E:\Downloads\flash_attn-2.7.4.post1+cu124torch2.5.1cxx11abiFALSE-cp310-cp310-win_amd64.whl"
三、安装 flash_attn
使用 pip 从本地安装 flash_attn，具体操作如下：
方式一：在项目文件夹内安装
如果 .whl 文件已移动到项目文件夹，安装命令格式为：
pip install 文件名.whl例如，文件名为
flash_attn-2.7.4.post1+cu124torch2.5.1cxx11abiFALSE-cp310-cp310-win_amd64.whl
则命令为：
pip install flash_attn-2.7.4.post1+cu124torch2.6.0cxx11abiFALSE-cp310-cp310-win_amd64.whl
方式二：使用文件地址安装
如果未移动文件，可以直接使用文件的完整路径进行安装。
例如，文件路径为：
"E:\Downloads\flash_attn-2.7.4.post1+cu124torch2.5.1cxx11abiFALSE-cp310-cp310-win_amd64.whl"
则命令为：
pip install "E:\Downloads\flash_attn-2.7.4.post1+cu124torch2.5.1cxx11abiFALSE-cp310-cp310-win_amd64.whl"补充说明：
-
直接使用 pip 在线安装 flash_attn 可能会失败。因此，从 GitHub 发布页面下载
.whl文件并从本地安装是更可靠的方法。 -
在实际操作中，即使 CUDA 和 torch 的版本不完全匹配，也可能成功安装 flash_attn。但为了确保最佳性能和兼容性，建议使用完全匹配的版本。
希望这些步骤能帮助我们顺利完成安装！