【大模型】IndexTTS-1.5在Linux + GTX1080TI平台部署步骤及性能分析
目录
一、运行环境
二、部署步骤
1. 安装NVIDIA显卡驱动
2. 安装CUDA
3. 安装Miniconda3
4. 安装cuDNN
5. 下载IndexTTS-1.5
6. 安装Python环境及依赖
7. 下载模型文件
8. 测试运行
三、性能分析
一、运行环境
CPU:Intel(R) Xeon(R) CPU E5-2696 v4 @ 2.20GHz
内存:64GB
显卡:Nvidia GTX 1080TI
操作系统:优麒麟22.04(Ubuntu22.04)
二、部署步骤
1. 安装NVIDIA显卡驱动
执行命令安装 570 版本显卡驱动(最高可支持到12.8版本的CUDA)
sudo apt install nvidia-driver-570
sudo apt install nvidia-utils-570
安装完成后重启并执行 nvidia-smi 命令检查驱动是否安装成功
2. 安装CUDA
执行命令安装 12.6 版本CUDA(不安装12.8版本!!!)
wget https://developer.download.nvidia.com/compute/cuda/12.6.0/local_installers/cuda_12.6.0_560.28.03_linux.run
sudo sh cuda_12.6.0_560.28.03_linux.run
安装成功后重启并执行 nvcc -V 命令检查CUDA是否安装成功
3. 安装Miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh
# 激活环境变量
source ~/miniconda3/bin/activate
4. 安装cuDNN
执行命令通过conda安装与CUDA版本匹配的cuDNN
conda install nvidia::cudnn cuda-version=12.6
5. 下载IndexTTS-1.5
IndexTTS-1.5 - GitHubhttps://github.com/index-tts/index-tts/archive/refs/tags/v1.5.0.zip
6. 安装Python环境及依赖
conda create -n index-tts python=3.10
conda activate index-tts
sudo apt install ffmpegcd index-tts-1.5
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu126
7. 下载模型文件
export HF_ENDPOINT="https://hf-mirror.com"
huggingface-cli download IndexTeam/IndexTTS-1.5 \config.yaml bigvgan_discriminator.pth bigvgan_generator.pth bpe.model dvae.pth gpt.pth unigram_12000.vocab \--local-dir checkpoints
8. 测试运行
python indextts/infer.py
三、性能分析
由于GTX1080TI显卡硬件并不支持fp16,而IndexTTS默认采用fp16进行推理加速,经测试,手动关闭fp16后性能表现更佳,每20s可推理生成约60s音频文件,测试数据如下: