AutoDL上Xinference安装

实例配置如下：

AutoDL上不支持安装docker！因为它也是个容器！（这是个坑）

选择pip安装

1、安装"xinference[vllm]"，我这里安装Transformers报错，选择vllm引擎

pip install "xinference[vllm]"

2、创建工作目录、配置魔塔社区、环境变量

mkdir -p /root/autodl-tmp/xinferenceexport XINFERENCE_MODEL_SRC=modelscopeexport XINFERENCE_HOME=/root/autodl-tmp/xinference

3、启动xinference

xinference-local --host 0.0.0.0 --port 9997

 4、隧道穿透，然后输入密码

ssh -p 12345 [e-mail] -L 0.0.0.0:9997:0.0.0.0:9997 -N

 

5、下载千问大模型进行问答