第四十八篇-Dockker+yusiwen/llama.cpp简单试用+CPU

纯CPU测试版本

第一步：下载你需要的gguf模型

wget https://hf-mirror.com/gaianet/Qwen3-0.6B-GGUF/resolve/main/Qwen3-0.6B-Q4_K_M.gguf
mkdir /local_models(你指定的目录后面要用)
宿主机：/local_models/Qwen3-0.6B-GGUF/Qwen3-0.6B-Q4_K_M.gguf

第二步；下载镜像+CPU版

docker pull docker.1ms.run/yusiwen/llama.cpp:latest

第三步：试用

docker run --rm -it -v /local_models:/models --entrypoint /bin/bash yusiwen/llama.cpp:latest
命令行已进入容器中，root@a547c1000fdb:/llama.cpp#
其中/local_models为宿主机目录

第四步：执行

root@a547c1000fdb:/llama.cpp# ./llama-cli -m /models/Qwen3-0.6B-GGUF/Qwen3-0.6B-Q4_K_M.gguf
其中-m /models/是容器内目录出现>  可以交流了

当然还有 llama-server llama-run可以使用