当前位置: 首页 > news >正文

FastGPT配置文件及OneAPI程序:

FastGPT配置文件及OneAPI程序:
百度网盘 请输入提取码
提取码:wuhe

创建fastgpt目录:mkdir fastgpt

切换到fastgpt目录:cd fastgpt

下载docker-compose文件:curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml

下载config文件:curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

docker-compose文件github:https://github.com/labring/FastGPT/blob/main/files/deploy/fastgpt/docker-compose.yml

config文件github:https://github.com/labring/FastGPT/blob/main/projects/app/data/config.json

切换fastgpt目录:cd \wsl.localhost\Ubuntu\home\user-name\fastgpt user-name记得替换为你自己的用户名

拉取镜像:docker-compose pull

在后台运行容器:docker-compose up -d

FastGPT的页面:http://localhost:3020/

登录用户名为root,密码为docker-compose文件里DEFAULT_ROOT_PSW,默认密码1234

ChatGLM3官方的一键包链接:百度网盘 请输入提取码
提取码:glut

用docker部署m3e模型,默认用CPU运行:
docker run -d -p 6008:6008 --name=m3e-large-api registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
使用GPU运行:
docker run -d -p 6008:6008 --gpus all --name=m3e-large-api registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
原镜像:
docker run -d -p 6200:6008 --name=m3e-large-api stawky/m3e-large-api:latest

查看被系统保留的端口:
netsh int ipv4 show excludedport tcp
保留端口给程序使用:
netsh int ipv4 add excludedportrange protocol=tcp startport=<起始端口> numberofports=<排除端口数量>

测试m3e的api:
curl --location --request POST 'https://localhost:6008/v1/embeddings' \
--header 'Authorization: Bearer sk-aaabbbcccdddeeefffggghhhiiijjjkkk' \
--header 'Content-Type: application/json' \
--data-raw '{
"model": "m3e",
"input": ["laf是什么"]
}'
localhost需要替换成你的ip地址,ip地址可以在你连接的网络的属性里查看,或者在cmd里使用:ipconfig查看WLAN或者以太网那一栏。注意,ip地址要填ipv4的地址,不要填成ipv6的地址

OneAPI网站:http://localhost:3000/

OneAPI网页后,使用root用户和默认密码123456登录

chatglm3的Base URL:http://localhost:8000 localhost修改为你的本地ip地址

m3e的Base URL:http://localhost:6008 localhost记得修改为你的本地ip地址

m3e密钥:sk-aaabbbcccdddeeefffggghhhiiijjjkkk

docker-compose文件修改OPENAI_BASE_URL:http://localhost:3000/v1 localhost记得替换为你的本地ip地址

docker-compose文件修改CHAT_API_KEY:填入从OneAPI令牌复制的key

修改config文件ChatModels:
{
"model": "chatglm3",
"name": "chatglm3",
"maxContext": 4000,
"maxResponse": 4000,
"quoteMaxToken": 2000,
"maxTemperature": 1,
"vision": false,
"defaultSystemChatPrompt": ""
},
ChatGLM3-6B支持的上下文长度为8k,你可以将maxContext和maxResponse改为8000
可以在defaultSystemChatPrompt里设置你的系统默认提示词

修改config文件QAModels:
{
"model": "chatglm3",
"name": "chatglm3",
"maxContext": 4000,
"maxResponse": 4000,
"price": 0
}

修改config文件VectorModels:
{
"model": "m3e",
"name": "m3e",
"price": 0.1,
"defaultToken": 500,
"maxToken": 1800
}
QAModels和VectorModels都添加好后,记得在括号的前面加个英文逗号,不然config文件无法生效

重新更新配置文件,依次输入命令:
cd \wsl.localhost\Ubuntu\home\user-name\fastgpt user-name记得换成你的Ubuntu用户名
docker-compose pull
docker-compose up -d

进入FastGPT网页:http://localhost:3020/
登录用户名为root,密码为docker-compose文件里DEFAULT_ROOT_PSW,默认密码1234

相关文章:

  • 浅拷贝导致的bug
  • 【算法与数据结构】1971、LeetCode寻找图中是否存在路径
  • Ubuntu20.04 查看系统版本号
  • go - 学习笔记 - 1
  • 使用logicflow流程图实例
  • ClickHouse快速上手
  • Hyperf 使用配置中心 - nacos配置中心
  • 力扣hot100题解(python版10-12题)
  • Windows如何新建一个需要管理员权限才能删除的文件夹
  • Vue | (四)使用Vue脚手架(上) | 尚硅谷Vue2.0+Vue3.0全套教程
  • IDEA自定义类注释及方法注释模板
  • 智慧城市的新宠儿:会“思考”的井盖
  • 分布式锁的应用场景及实现
  • [晓理紫]每日论文分享(有中文摘要,源码或项目地址)--强化学习、模仿学习、机器人
  • Jmeter 学习目录(0)
  • 《Solidity 简易速速上手小册》第9章:DApp 开发与 Solidity 集成(2024 最新版)
  • Postgresql源码(121)事务状态中childXids的作用
  • 【ArcGIS微课1000例】0105:三维模型转体模型(导入sketchup转多面体为例)
  • 【Spring Boot 3】【JPA】一对一双向关联
  • 【Git工具实战】实用真实 Git 开发工作流程
  • 龙翔被撤销南京市人大常委会主任职务,此前已被查
  • 宁波市纪委监委通报4起违反中央八项规定精神典型问题
  • 中国科学院院士张泽民已任重庆医科大学校长
  • 辽宁辽阳市白塔区一饭店发生火灾,当地已启动应急响应机制
  • 辽宁辽阳市白塔区一饭店火灾事故举行新闻发布会,现场为遇难者默哀
  • 解放日报:这是一场需要定力和实力的“科技长征”