第四十四篇--Tesla P40+Janus-Pro-7B部署与测试

环境

系统：CentOS-7
CPU: 14C28T
显卡：Tesla P40 24G
驱动: 515
CUDA: 11.7
cuDNN: 8.9.2.26

创建环境

conda create --name trans python=3.10

torch                          2.6.0
transformers                   4.48.3

克隆项目

git clone https://github.com/deepseek-ai/Janus
cd Janus

安装依赖-1

pip install --upgrade pip -i https://mirrors.aliyun.com/pypi/simple/
pip install -e . -i https://mirrors.aliyun.com/pypi/simple/

下载模型放入

export HF_ENDPOINT=https://hf-mirror.com

/models/Janus-Pro-7B/

也可以使用hf-mirror在线下载

修改

15 model_path = "/models/Janus-Pro-7B"
244 demo.queue(concurrency_count=1, max_size=10).launch(server_name="0.0.0.0", server_port=37906)

启动

python demo/app_januspro.py

访问使用

    http://127.0.0.1:37906

可以使用体验了

图片识别

Fri Feb 14 22:20:52 2025
±--------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.129.03 Driver Version: 535.129.03 CUDA Version: 12.2 |
|-----------------------------------------±---------------------±---------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=++====|
| 0 Tesla P40 Off | 00000000:02:00.0 Off | 0 |
| N/A 29C P0 130W / 250W | 14866MiB / 23040MiB | 99% Default |
| | | N/A |
±----------------------------------------±---------------------±---------------------+

速度挺快，简单的快5秒，复杂的就长了20秒+

图片生成

±--------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.129.03 Driver Version: 535.129.03 CUDA Version: 12.2 |
|-----------------------------------------±---------------------±---------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=++====|
| 0 Tesla P40 Off | 00000000:02:00.0 Off | 0 |
| N/A 32C P0 140W / 250W | 16526MiB / 23040MiB | 100% Default |
| | | N/A |
±----------------------------------------±---------------------±---------------------+

速度挺慢的，30秒+，有时更长
效果不好评判，只有自己试用