New-api大模型代理聚合创建渠道使用多个大模型

​​欢迎关注【AI技术开发者】

​

在上文中，我们成功部署了FastGPT和new-api。

现在 我们需要使用new-api创建大模型服务，并使用FastGPT调用这些大模型，完成我们的任务。

本文以通义千问大模型为例，接入以下大模型服务

语言模型：qwen-plus -32k

语言模型：qwq-32b-preview -128k

语言模型：qwen-turbo -1m

视觉模型：qvq-72b-preview -32k

视觉模型：qwen-vl-max -32k

向量模型：text-embedding-v3 通用向量

向量模型：multimodal-embedding-v1 多模态向量

排序模型：gte-rerank

这些模型已经足够学习使用了。

首先，登录到后台（默认账号密码 root/123456），进入到渠道页面

​

​

点击创建渠道

​

​

类型选择 通义千问

名称自定义，分组默认

填入相关模型名称。

注意：为了统一，我们将这些模型对外提供服务所使用的名称均以qwen开头，如：qwen-gte-rerank

需要把qwen-gte-rerank和gte-rerank两个名称都填入模型这一行中，并在下方模型重定向选项中填入。

​

​

重定向模板：

{
"对外提供的模型名称":"厂商模型名称"
}

添加成功后，点击测试按钮

​

​

可以看到响应时间，即为添加成功。

​欢迎关注【AI技术开发者】

​