当前位置： 首页 > news >正文

FastGPT源码解析 工作流、知识库、大模型、Agent等核心代码文件梳理

news 2025/9/6 5:43:53

大模型对接核心代码文件对应

梳理了FastGPT核心代码和对应文件关系，包括LLM、知识库、大模型、Agent等核模块的代码和对应文件路径

1. 模型管理架构

全局模型映射
// 文件: packages/global/core/ai/model.d.ts
declare global {var llmModelMap: Map<string, LLMModelItemType>;var embeddingModelMap: Map<string, EmbeddingModelItemType>;// ...
}
统一模型获取接口
// 文件: packages/service/core/ai/model.ts
export const getLLMModel = (model?: string) => {if (!model) return getDefaultLLMModel();return global.llmModelMap.get(model) || getDefaultLLMModel();
};

2. LLM 模型对接

模型配置结构
// 文件: packages/global/core/ai/model.d.ts
export type LLMModelItemType = {provider: ModelProviderIdType;model: string;maxContext: number;// ...
};
统一 API 客户端
// 文件: packages/service/core/ai/config.ts
export const getAIApi = (props?: { userKey?: OpenaiAccountType; timeout?: number 
}) => {// ...return new OpenAI({baseURL: baseUrl,apiKey,// ...});
};
聊天完成接口
// 文件: packages/service/core/ai/config.ts
export const createChatCompletion = async ({body, userKey, timeout, options
}) => {const modelConstantsData = getLLMModel(body.model);// ...
};

3. Embedding 模型对接

Embedding 配置
// 文件: packages/global/core/ai/model.d.ts
export type EmbeddingModelItemType = {provider: ModelProviderIdType;model: string;defaultToken: number;maxToken: number;// ...
};
向量化实现
// 文件: packages/service/core/ai/embedding/index.ts
export async function getVectorsByText({ model, input, type 
}: GetVectorProps) {const ai = getAIApi();// ...
}function unityDimensional(vector: number[]) {if (vector.length > 1536) {return vector.slice(0, 1536);}// ...
}function normalization(vector: number[]) {if (vector.some(item => item > 1)) {const norm = Math.sqrt(vector.reduce((sum, val) => sum + val * val, 0));return vector.map(val => val / norm);}return vector;
}

4. ReRank 模型对接

ReRank 实现
// 文件: packages/service/core/ai/rerank/index.ts
export function reRankRecall({model = getDefaultRerankModel(),query,documents
}: {model?: ReRankModelItemType;query: string;documents: { id: string; text: string }[];
}): Promise<ReRankCallResult> {// ...
}

5. 模型配置管理

配置文件
// 文件: projects/app/data/model.json
{"llmModels": [{"provider": "OpenAI","model": "gpt-4o-mini","name": "gpt-4o-mini",// ...}],"vectorModels": [{"provider": "OpenAI","model": "text-embedding-3-small",// ...}]
}
动态模型管理 API
// 文件: projects/app/src/pages/api/core/ai/model/update.ts
// 模型配置更新接口// 文件: projects/app/src/pages/api/core/ai/model/test.ts  
// 模型测试接口// 文件: projects/app/src/pages/api/core/ai/model/list.ts
// 模型列表接口

工作流后端实现代码文件对应

1. 调度引擎核心

// 文件: packages/service/core/workflow/dispatch/index.ts
export async function dispatchWorkFlow(data: Props): Promise<DispatchFlowResponse> {// 工作流调度核心逻辑
}const callbackMap: Record<FlowNodeTypeEnum, Function> = {[FlowNodeTypeEnum.chatNode]: dispatchChatCompletion,[FlowNodeTypeEnum.datasetSearchNode]: dispatchDatasetSearch,// ...
};

2. 节点执行机制

// 文件: packages/service/core/workflow/dispatch/index.ts
async function checkNodeCanRun(node: RuntimeNodeItemType): Promise<RuntimeNodeItemType[]> {// 节点运行状态检查
}function getNodeRunParams(node: RuntimeNodeItemType) {// 节点参数注入
}

3. 流式响应处理

// 文件: packages/service/core/workflow/dispatch/utils.ts
export const getWorkflowResponseWrite = ({res, detail, streamResponse, id, showNodeStatus
}) => {return ({ write, event, data, stream }) => {// SSE 流式响应处理};
};

4. 具体节点实现

// 文件: packages/service/core/workflow/dispatch/chat/oneapi.ts
export const dispatchChatCompletion = async (props: ChatProps): Promise<ChatResponse> {// AI 对话节点实现
}// 文件: packages/service/core/workflow/dispatch/dataset/search.ts
export const dispatchDatasetSearch = async (props) => {// 知识库搜索节点实现
}// 文件: packages/service/core/workflow/dispatch/tools/http468.ts
export const dispatchHttp468Request = async (props) => {// HTTP 请求节点实现
}

知识库后端实现代码文件对应

1. 数据模型设计

// 文件: packages/service/core/dataset/schema.ts
const DatasetSchema = new Schema({parentId: { type: Schema.Types.ObjectId },teamId: { type: Schema.Types.ObjectId, required: true },vectorModel: { type: String, default: 'text-embedding-3-small' },// ...
});// 文件: packages/service/core/dataset/data/schema.ts
const DatasetDataSchema = new Schema({teamId: { type: ObjectId, required: true },datasetId: { type: ObjectId, required: true },q: { type: String, required: true },a: { type: String, default: '' },indexes: [{ dataId: String, text: String }],// ...
});

2. 数据处理流程

// 文件: packages/service/core/dataset/training/controller.ts
export async function pushDataListToTrainingQueue({teamId, tmbId, datasetId, collectionId,agentModel, vectorModel, data, trainingMode
}) {// 数据导入管道实现
}

3. 检索系统实现

// 文件: packages/service/core/dataset/search/controller.ts
export async function searchDatasetData(props: SearchDatasetDataProps
): Promise<SearchDatasetDataResponse> {// 多模式检索引擎实现
}const embeddingRecall = async ({ query, limit }) => {// 向量检索实现
};const fullTextRecall = async ({ query, limit }) => {// 全文检索实现
};export const datasetDataReRank = async ({ data, query }) => {// 重排序实现
};

4. 数据源集成

// 文件: projects/app/src/pages/api/core/dataset/collection/create/localFile.ts
// 本地文件导入// 文件: projects/app/src/pages/api/core/dataset/collection/create/link.ts  
// 网页链接导入// 文件: projects/app/src/pages/api/core/dataset/collection/create/apiCollection.ts
// API 数据源导入

聊天系统代码文件对应

1. 聊天完成 API

// 文件: projects/app/src/pages/api/v1/chat/completions.ts
async function handler(req: NextApiRequest, res: NextApiResponse) {// OpenAI 兼容的聊天接口实现const { flowResponses, assistantResponses } = await dispatchWorkFlow({// 工作流调度调用});
}

2. 前端聊天组件

// 文件: projects/app/src/components/core/chat/ChatContainer/ChatBox/index.tsx
const ChatBox = ({ onStartChat, isReady, active }) => {const sendPrompt: SendPromptFnType = useMemoizedFn(({text, files, history, autoTTSResponse}) => {// 消息发送核心逻辑});
};

3. LLM 调用核心

// 文件: packages/service/core/workflow/dispatch/chat/oneapi.ts
export const dispatchChatCompletion = async (props: ChatProps): Promise<ChatResponse> {// 1. 模型配置获取const modelConstantsData = getLLMModel(model);// 2. 知识库引用处理const [{ datasetQuoteText }] = await Promise.all([filterDatasetQuote({ quoteQA, model: modelConstantsData })]);// 3. LLM API 调用const { response } = await createChatCompletion({body: llmCompletionsBodyFormat({ model, messages, temperature })});
};

工作流前端代码文件对应

1. ReactFlow 核心

// 文件: projects/app/src/pageComponents/app/detail/WorkflowComponents/Flow/index.tsx
const Workflow = () => {return (<ReactFlownodes={nodes}edges={edges}nodeTypes={nodeTypes}edgeTypes={edgeTypes}onNodesChange={handleNodesChange}// .../>);
};const nodeTypes: Record<FlowNodeTypeEnum, any> = {[FlowNodeTypeEnum.chatNode]: NodeSimple,[FlowNodeTypeEnum.datasetSearchNode]: NodeSimple,// ...
};

2. 节点组件

// 文件: projects/app/src/pageComponents/app/detail/WorkflowComponents/Flow/nodes/NodeSimple.tsx
// 通用节点组件// 文件: projects/app/src/pageComponents/app/detail/WorkflowComponents/Flow/nodes/NodeHttp/index.tsx
// HTTP 请求节点组件// 文件: projects/app/src/pageComponents/app/detail/WorkflowComponents/Flow/nodes/NodeIfElse/index.tsx
// 条件判断节点组件

3. 工作流上下文

// 文件: projects/app/src/pageComponents/app/detail/WorkflowComponents/context/workflowInitContext.tsx
// 工作流初始化上下文// 文件: projects/app/src/pageComponents/app/detail/WorkflowComponents/context/workflowEventContext.tsx
// 工作流事件上下文

总结

以上代码片段对应的主要文件路径：

核心服务层:

  • packages/service/core/ai/ - AI 模型对接
  • packages/service/core/workflow/dispatch/ - 工作流调度
  • packages/service/core/dataset/ - 知识库管理

全局类型定义:

  • packages/global/core/ai/model.d.ts - AI 模型类型
  • packages/global/core/workflow/ - 工作流类型

前端应用:

  • projects/app/src/pages/api/ - API 路由
  • projects/app/src/pageComponents/ - 页面组件
  • projects/app/src/components/core/ - 核心组件

配置文件:

  • projects/app/data/model.json - 模型配置

文章转载自：

http://iAUlvnua.sxbgc.cn
http://5crw6pai.sxbgc.cn
http://T0W08o2T.sxbgc.cn
http://CHlg2dt3.sxbgc.cn
http://04ndqyfR.sxbgc.cn
http://XZkHRdRz.sxbgc.cn
http://X6RGng9O.sxbgc.cn
http://PMAIgE1X.sxbgc.cn
http://mvBmBa60.sxbgc.cn
http://I87pdmaS.sxbgc.cn
http://5129UrQy.sxbgc.cn
http://tlEiVsl9.sxbgc.cn
http://pNBp4Eab.sxbgc.cn
http://DnGisI6M.sxbgc.cn
http://dFeU3K5o.sxbgc.cn
http://7XETAH5h.sxbgc.cn
http://RR0ywaQ2.sxbgc.cn
http://yjowDiHV.sxbgc.cn
http://UP5BbQSh.sxbgc.cn
http://4cM0Jfgs.sxbgc.cn
http://NAuDy3gh.sxbgc.cn
http://rfKRsXNz.sxbgc.cn
http://EzVtFLsB.sxbgc.cn
http://3UH1BzDz.sxbgc.cn
http://7vwGM1Pg.sxbgc.cn
http://ZQDRVS2O.sxbgc.cn
http://tuEE2qYB.sxbgc.cn
http://5SMvgnco.sxbgc.cn
http://J9TEH5Ks.sxbgc.cn
http://fWOi3N0G.sxbgc.cn
http://www.dtcms.com/a/367964.html

相关文章：

  • LabVIEW汽车发动机振动测试
  • LabVIEW 尺度图自定义色表应用
  • PPT中如何将设置的文本框边距设为默认
  • 专题：2025电力行业5G工厂及绿色转型、市场机制研究报告|附100+份报告PDF、数据仪表盘汇总下载
  • [GYCTF2020]Ezsqli
  • 【实战指南】Cursor前端+Zion后端：10分钟打造能收款的AI商业应用MVP
  • 【LeetCode 热题 100】1. 两数之和——（解法二）哈希表
  • ansible阶段练习题
  • Vue用户管理系统代码逐行详解
  • 计算机网络4 第四章 网络层——网络间的通信问题（省际之间如何规划信件运输路线）
  • 【开题答辩全过程】以 基于Android的点餐系统为例，包含答辩的问题和答案
  • 突破材料极限！这种二维超晶格膜，能抗 1800K 极端热冲击​ | 乐研试剂
  • .tsx父页面给.vue子页面传参
  • DPO算法
  • Photoshop图层
  • flutter-使用fluttertoast制作丰富的高颜值toast
  • 数据无言，网关有声 耐达讯自动化RS485转Profinet让千年液位数据“开口说话”
  • 如何将联系人从 iPhone 转移到 Redmi 手机
  • 从 ETL 到 Agentic AI：工业数据管理变革与 TDengine IDMP 的治理之道
  • PostgreSQL15——DML 语句
  • 机器学习-决策树（下）
  • 如何将视频从 iPhone 转移到 Mac
  • 基于Echarts+HTML5可视化数据大屏展示-旅游智慧中心
  • AI API Tester体验：API测试工具如何高效生成接口测试用例、覆盖异常场景？
  • 四六级学习资料管理系统的设计与实现（代码+数据库+LW）
  • (3)Seata AT 模式的事务一致性保证机制
  • MySQL主从同步--主从复制进阶
  • VisionMaster 4.2.0安装
  • FastVLM-0.5B 模型解析
  • 球坐标系下调和函数的构造：多项式边界条件的求解方法