【xinference 词嵌入】embbeding 使用教程

1、使用openai 方式调用embbeding 模型

import openai
# 创建客户端
client = openai.Client(api_key="not empty", base_url="http://192.168.8.9:9997/v1")
response = client.embeddings.create(
    # 必须与Xinference启动的Model UID完全一致
    model="bge-m3_local",
    input=texts
)

# 获取向量结果
doc_embeddings = [data.embedding for data in response.data]
embedding_dim=len(doc_embeddings[0])
print(f"向量维度：{embedding_dim}")  # 输出如1024

2、使用xinference

# 创建客户端(xinference)
client = Client("http://192.168.8.9:9997")
model  = client.get_model("bge-m3_local")
response = model.create_embedding(texts)
time3=time.time()
print("创建客户端耗时：%s" %(time3-time2))

doc_embeddings=[data['embedding'] for data in response['data']]
embedding_dim=len(doc_embeddings[0])
print(f"向量维度：{embedding_dim}")  # 输出如1024