Docker安装嵌入框架Text Embeddings Inference (TEI)

Docker安装Text Embeddings Inference (TEI)

1 简单介绍

文本嵌入推理（TEI，Text Embeddings Inference ）是HuggingFace研发的一个用于部署和服务开源文本嵌入和序列分类模型的工具包。TEI兼容OpenAI的嵌入模型的规范。

# 官网地址
https://hf-mirror.com/docs/text-embeddings-inference/index

# Github地址
https://github.com/huggingface/text-embeddings-inference

2 Docker安装

在线安装

⚠️ 容器会联网自动从Hugging Face把BAAI/bge-reranker-large模型下载到/data的目录下，国内无法直接下载。

docker run -itd \
--name text-embeddings-inference \
--gpus all \
-p 8080:80 \
-v /home/data:/data \
ghcr.io/huggingface/text-embeddings-inference:1.6 \
--model-id BAAI/bge-reranker-large

离线安装

⚠️ 安装方法的思路。

（1）在国内的ModelScope上下载BAAI/bge-reranker-large模型；

（2）将BAAI/bge-reranker-large模型放在宿主机的/home/data目录下（注意不要模型前面的BAAI）；

（3）宿主机模型目录：📁/home/data/bge-reranker-large。

# -v：宿主机共享目录， 宿主机目录："/home/data"，容器中的目录"/data"存在模型的目录;
# --model-id：指定模型的路径或者模型编号，对应容器中的"/data"目录
#            其中容器的"/data/bge-reranker-large"对应宿主机"/home/data/bge-reranker-large"

docker run -itd \
--name text-embeddings-inference \
--gpus all \
-p 8080:80 \
-v /home/data:/data \
ghcr.io/huggingface/text-embeddings-inference:1.6 \
--model-id /data/bge-reranker-large

访问rerank接口

curl http://127.0.0.1:8080/rerank \
-X POST \
-H "Content-Type: application/json" \
-d '{
    "query":"What is Deep Learning?", 
    "texts": ["Deep Learning is not...", "Deep learning is..."], 
    "raw_scores": false
}'

接口文档

# Text Embedding Webserver的Swagger接口
http://192.168.137.64:8080/docs/