大模型（五）MOSS-TTSD学习

参考repo

https://github.com/OpenMOSS/MOSS-TTSD

环境部署

本机环境：

1. windows wsl下的ubuntu22.04
2. cuda版本：cuda11.7

环境部署详情：

1. conda安装python3.10虚拟环境

2. 运行如下命令能跑起来非flash-attn版本的模型

   python -m pip install torch==2.1.0+cu118 \torchvision==0.16.0+cu118 \torchaudio==2.1.0+cu118 \torchaudio==2.1.0+cu118 \--extra-index-url https://download.pytorch.org/whl/cu118 \-i https://pypi.tuna.tsinghua.edu.cn/simple/
   

3. 安装flash-attn方法还在调研中

代码学习