MI50运算卡使用llama.cpp的ROCm后端运行gpt-oss-20b的速度测试
使用unsloth提供的 gpt-oss-20b-UD-Q4_K_XL 量化版本
llama.cpp:b6987
ggml_cuda_init: GGML_CUDA_FORCE_MMQ: no
ggml_cuda_init: GGML_CUDA_FORCE_CUBLAS: no
ggml_cuda_init: found 1 ROCm devices:Device 0: AMD Radeon Graphics, gfx906:sramecc-:xnack- (0x906), VMM: no, Wave Size: 64
| model | size | params | backend | ngl | test | t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --------------: | -------------------: |
| gpt-oss 20B Q4_K - Medium | 11.04 GiB | 20.91 B | ROCm | 99 | pp512 | 1109.90 ± 7.26 |
| gpt-oss 20B Q4_K - Medium | 11.04 GiB | 20.91 B | ROCm | 99 | tg128 | 106.59 ± 0.03 |