当前位置: 首页 > news >正文

linux下非Docker模式部署Xinference并部署Rerank模型

背景:

记上一篇windows环境部署Xinference后尝试在linux下部署,该环境没有GPU,只有CPU。

材料:

1、运行命令 :conda create -n transform_env python=3.10.18 创建基础环境并制定Python版本。

2、运行命令:conda activate transform_env 激活Xinference环境 

3、运行命令:conda env list 查看已创建的虚拟环境,其中带“*”的为当前激活环境                     

制作:

1、pip install xinference[all]=1.7.0.post1 进行 xinference 的安装。 

2、pip show xinference 查看版本

(/conda/transform_env) [root@MY59-160 ~]# pip show xinference
Name: xinference
Version: 1.7.0.post1
Summary: Model Serving Made Easy
Home-page: https://github.com/xorbitsai/inference
Author: Qin Xuye
Author-email: qinxuye@xprobe.io
License: Apache License 2.0
Location: /conda/transform_env/lib/python3.10/site-packages
Requires: aioprometheus, async-timeout, click, fastapi, gradio, huggingface-hub, modelscope, nvidia-ml-py, openai, passlib, peft, pillow, pydantic, pynv
ml, python-jose, requests, setproctitle, sse_starlette, tabulate, timm, torch, tqdm, typing_extensions, uvicorn, xoscar
Required-by: 

3、启动xinference(直接启动)

XINFERENCE_MODEL_SRC=modelscope XINFERENCE_HOME='/xinference_model/' xinference-local --host 0.0.0.0 --port 9997

解释:1、 XINFERENCE_MODEL_SRC=modelscope 表示模型下载地址为modelscope(阿里)

2、 XINFERENCE_HOME='/xinference_model/' 表示下载的模型在本地的存储路径,如/xinference_model/

4、启动xinference(nohup后台启动)

XINFERENCE_MODEL_SRC=modelscope XINFERENCE_HOME='/xinference_model/' nohup xinference-local --host 0.0.0.0 --port 9997 &> nohup.out &

5、启动完成,浏览器访问即可。

注意事项:

模型无法下载

# 配置模型下载仓库。默认下载源是 “huggingface”,也可以设置为 “modelscope” 作为下载源

 XINFERENCE_MODEL_SRC=modelscope (国内),huggingface很大概率拉不到,还有通过页面下载包选择镜像地址并不生效

 

http://www.dtcms.com/a/309912.html

相关文章:

  • Android Frameworks从零开始
  • 车辆违停识别漏检率↓76%:陌讯动态区域感知算法实战解析
  • RA4M2_MINI开发(5)----GPIO输入检测
  • 探索 VMware 虚拟机:开启虚拟化世界的大门
  • SIP 呼叫中实现远端摄像头控制学习笔记
  • Go语言-->数组
  • WPF使用PreviewTextInput事件限制用户输入
  • Go语言在AI领域的最新应用与最佳实践深度研究
  • 使用Min-Max进行数据特征标准化
  • 手撕Redis源码1-数据结构实现
  • SpringBoot3.x入门到精通系列:1.5 配置文件详解
  • 2025 数字经济就业方向及前景【一文说清楚】
  • Spark Shuffle性能优化实践指南:提升大数据处理效率
  • 【数据分享】中国27省乡镇(街道)级人口密度数据集(2000年)
  • 设计模式1:创建型模式
  • AI在安全方面的十个应用场景
  • 分布式弹幕系统设计
  • Vue.set 响应式原理详解:源码级逐行带入实战解析
  • 【go】slice元素去重
  • MonoGame游戏开发框架日记 -07
  • 【Go】P1 GoLang 语言简介与起源
  • iPhone 恢复出厂设置是否会删除所有内容?
  • 充电桩车位占用识别准确率↑32%:陌讯动态特征融合算法实战解析
  • STM32 使用 RTC 实现实时时钟功能
  • tauri实用教程:项目打包为安装包时如何包含其他文件
  • InfluxDB 与 Golang 框架集成:Gin 实战指南(一)
  • 噪声对比估计(NCE):原理、演进与跨领域应用
  • 第一个大语言模型的微调
  • 电路基础学习
  • 字节跳动招机器人数据算法研究员-Top Seed