JAiRouter v1.0.0 正式发布:企业级 AI 服务网关的开源解决方案
写在前面
从 2025 年 9 月 6 日第一次把 .git 推到 GitHub,到今天 10 月 16 日——短短 40 天 ⏳,一个人 🧑💻 包揽架构 🏗️、编码 ⌨️、布道 📣,把 13 个模块、356 文件、3.6 万行“能跑就行”的草稿,熬成可灰度的 1.0.0 🚀。
167 次提交 📊,绿点排成单人栈 trace;+48 757 / −12 333 行增删,没有 merge 花活 ,没有 squash 造假,每一次 push 都留在历史里供人检阅 👀。
平均 24 h 4.2 次提交 ⚡,每 5.7 h 就有一行新代码被合入 ➕。
这不是 KPI 工程 📈,而是把“让 AI 网关真正好用”的执念 🎯,写进了每一次 git log 📝。
JAiRouter
JAiRouter 是一个基于 Spring Boot 的模型服务路由和负载均衡网关,用于统一管理和路由各种 AI 模型服务(如
Chat、Embedding、Rerank、TTS 等),支持多种负载均衡策略、限流、熔断、健康检查、动态配置更新等功能。
🧭 功能概览(Web 控制台)
模块分类 | 功能菜单 | 功能描述 |
---|---|---|
🔍 概览 | 仪表板 | 实时展示系统状态、服务健康度、请求趋势、异常统计等关键信息,支持图表可视化与动态刷新。 |
⚙️ 配置管理 | 服务管理 | 支持动态配置 AI 服务类型、适配器、负载均衡策略,支持服务级限流与熔断规则配置。 |
实例管理 | 提供实例的新增、编辑、删除、状态管理,支持实例级限流、熔断、健康检查与权重配置。 | |
版本管理 | 支持配置版本的全生命周期管理:创建、应用、回滚、删除,支持元数据记录与版本对比。 | |
配置合并 | 提供多版本配置的智能合并、冲突检测、合并预览与操作日志,支持自动合并与手动干预。 | |
🔐 安全管理 | API 密钥管理 | 支持 API Key 的创建、启用/禁用、权限分配、使用统计与过期提醒,支持敏感字段脱敏。 |
JWT 令牌管理 | 提供 JWT 令牌的生命周期管理:查询、撤销、刷新、黑名单机制,支持 Redis 与文件持久化。 | |
审计日志 | 完整记录用户登录、配置变更、令牌操作、密钥管理等关键事件,支持事件类型筛选与追踪。 | |
👤 系统管理 | 账户管理 | 支持管理员账户的创建、权限分配、状态管理与操作日志追踪。 |
📊 追踪管理 | 追踪概览 | 实时展示追踪数据的健康状态、采样率、服务统计与趋势图表。 |
追踪搜索 | 支持多条件组合查询追踪记录,支持按服务、时间、状态、标签等维度筛选。 | |
性能分析 | 提供服务级性能指标分析:延迟分布、错误率、吞吐量、瓶颈诊断与优化建议。 | |
追踪管理 | 支持采样策略配置(全局/服务级)、性能配置、导出器配置,支持追踪数据实时刷新。 |
🚀 核心亮点
- ✅ 全功能 Web 控制台:从零构建,覆盖配置、安全、追踪、审计等完整管理链路。
- ✅ 前后端分离架构:基于 Vue3 + Element Plus,响应式设计,交互友好。
- ✅ 配置版本控制:支持配置的多版本管理与回滚,保障变更可追溯。
- ✅ 追踪与性能监控:集成分布式追踪与性能分析,助力系统可观测性。
- ✅ 企业级安全机制:支持 JWT + API Key 双认证体系,内置审计与脱敏机制。
- ✅ 高可用与扩展性:支持 Redis 高可用部署,配置与令牌支持多级存储策略。
🧩 适用场景
- 企业内部 AI 服务网关统一管理
- 多模型服务路由与负载均衡
- API 安全认证与访问控制
- 分布式系统追踪与性能分析
- 配置变更审计与版本回滚
📚 在线文档
完整的项目文档已迁移至 GitHub Pages,可在线访问:
- 中文文档
- English Documentation
文档内容包括:
- 快速开始指南
- 详细配置说明
- API 参考
- 部署指南
- 监控配置
- 开发指南
- 故障排查
🚀 快速开始
# 拉取最新镜像
docker pull sodlinken/jairouter:latest# 运行容器
docker run -d \--name jairouter-dev \-p 8080:8080 \-e SPRING_PROFILES_ACTIVE=dev \-e JWT_SECRET="your-very-strong-jwt-secret-key-at-least-32-characters-long" \-e JAVA_OPTS="-Xms256m -Xmx512m -agentlib:jdwp=transport=dt_socket,server=y,suspend=n" \sodlinken/jairouter:dev
- 访问服务
curl http://localhost:8080/admin/login
用户名:admin
密码:UqfpTm2Zw7ff2BNnZb8AQo8t
登录成功后,即可进入 Web 界面进行服务配置、管理、追踪与性能分析等操作。
仪表盘
实例配置
配置合并
安全审计
API-KEY
JWT
📖 完整文档与部署指南:点击查看
🐙 开源地址:GitHub - JAiRouter
💬 欢迎反馈与共建,让我们一起让 JAiRouter 变得更好!