当前位置: 首页 > news >正文

coze1-podman容器化部署coze

podman容器化部署coze

  • 0.说在前面
  • 1.前置环境
    • 1.1.ollama安装
    • 1.2.podman安装
  • 3.安装
    • 3.1.拉取镜像
    • 3.2.配置LLM模型服务
    • 3.3.配置.env
    • 3.4.启动容器
    • 3.5.访问

在这里插入图片描述

0.说在前面

coze已经开源一段时间了,版本升级的也比较快,记录下使用podman部署coze的过程,这里使用的是coze v0.2.2的版本来安装了,老的版本会和新版本不太一样,肯定是推荐使用新版本来安装。
因为docker不好拉取镜像,使用podman可以顺畅的拉取相关镜像,所以也强烈推荐使用podman。

本文采用本地ollama来部署embedding和LLM模型。

1.前置环境

1.1.ollama安装

如果已经安装好,那么忽略。
安装ollama、拉取LLM和embedding模型,可以参考我的另外一篇文章或者更靠谱的文档来。

# 相应的模型拉取:
ollama pull bge-m3:567m
ollama pull qwen3:8b 

1.2.podman安装

如果已经安装好,那么忽略。
podman和podman compose安装参考我的另外一篇podman安装的文章

3.安装

3.1.拉取镜像

git clone https://github.com/coze-dev/coze-studio#拉取后,默认是main分支,就用这个分支。免得后面更新完,忘记切换分支了。

3.2.配置LLM模型服务

cd coze-studio
#复制模型配置模版,这里使用本地部署的ollama服务的相关模型
cp backend/conf/model/template/model_template_ollama.yaml backend/conf/model/ollama.yaml

设置 id, meta.conn_config.api_key, 和 meta.conn_config.model ,meta.conn_config.base_url
设置好那么保存,具体的URL和model名称,根据实际情况来修改。

在这里插入图片描述

http://www.dtcms.com/a/317872.html

相关文章:

  • Kafka-exporter采集参数调整方案
  • npm scripts 使用指南
  • 快手AI团队开源 KAT (Kwaipilot-AutoThink) 思考模型
  • 【ROS1】13-元功能包
  • electron:vue3+vite打包案例
  • 从零搭建React框架--第一章:create-react-app、antd、less
  • LAS平台Vibe Data Processing:AI驱动的数据处理新范式
  • Chrontel昆泰-【CH7036A-BF】CH7036 LVDS to HDMI/VGA/LVDS Converter
  • 基于MATLAB实现的具有螺旋相位板的4F系统用于图像边缘增强的仿真
  • 软件定义汽车 --- 电子电气架构的驱动
  • 在ubuntu上使用jenkins部署.net8程序
  • 【概念学习】早期神经网络
  • Redis 缓存三大核心问题:穿透、击穿与雪崩的深度解析
  • [AI 生成] hive 面试题
  • Document Object Model
  • 机器学习-LinearRegression
  • harbor仓库搭建(配置https)
  • MCU程序的编译与链接及格式转换
  • 防御保护防火墙简单实验报告
  • Git 乱码文件处理全流程指南:从识别到彻底清除
  • MySQL的约束条件:
  • 【Linux】调试器gdb/cgdb的使用
  • 生成式 AI 重塑自动驾驶仿真:4D 场景生成技术的突破与实践
  • vector使用模拟实现
  • 牛客AI简历筛选:破解秋招效率难题
  • 向量数据库基础入门:RAG 与向量检索基础认知构建
  • 《C语言程序设计》笔记p9
  • LLM——浅谈 LangGraph 中断式工作流:构建一个可交互的问答流程
  • 4、docker数据卷管理命令 | docker volume
  • 【关于Java的对象】