当前位置：首页 > news >正文

基于Transformer的智能对话系统：FastAPI后端与Streamlit前端实现

news 2025/7/23 5:19:00

基于Transformer的智能对话系统：FastAPI后端与Streamlit前端实现

本文将详细介绍如何构建一个基于Transformer的智能对话系统，使用FastAPI构建高性能后端API，并通过Streamlit创建交互式前端界面。

引言：Transformer在对话系统中的应用

Transformer架构自2017年提出以来，彻底改变了自然语言处理领域。在对话系统中，Transformer模型能够捕捉长距离依赖关系，生成更自然、连贯的对话响应。本文将结合FastAPI和Streamlit技术栈，构建一个完整的对话系统解决方案。

系统架构设计

我们的对话系统采用前后端分离架构：

用户界面(Streamlit)  ↔  REST API(FastAPI)  ↔  Transformer模型

技术栈选择理由：

Transformer模型：使用Hugging Face的预训练对话模型
FastAPI：高性能Python Web框架，适合构建API服务
Streamlit：快速创建数据科学Web应用的利器

环境准备与安装

# 创建虚拟环境
python -m venv dialog-env
source dialog-env/bin/activate# 安装核心依赖
pip install transformers torch
pip install fastapi "uvicorn[standard]"
pip install streamlit

实现步骤详解

1. 基于Transformer的对话模型

我们使用Hugging Face的microsoft/DialoGPT-medium预训练模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torchdef load_dialog_model():model_name = "microsoft/DialoGPT-medium"tokenizer = AutoTokenizer.from_pretrained(model_name)model = AutoModelForCausalLM.from_pretrained(model_name)return model, tokenizerdef generate_response(model, tokenizer, input_text, max_length=1000):# 编码用户输入input_ids = tokenizer.encode(input_text + tokenizer.eos_token, return_tensors="pt")# 生成响应output = model.generate(input_ids,max_length=max_length,pad_token_id=tokenizer.eos_token_id,no_repeat_ngram_size=3,do_sample=True,top_k=100,top_p=0.7,temperature=0.8)# 解码并返回响应response = tokenizer.decode(output[:, input_ids.shape[-1]:][0], skip_special_tokens=True)return response

2. 构建FastAPI后端服务

创建api.py文件：

from fastapi import FastAPI
from pydantic import BaseModel
from model_utils import load_dialog_model, generate_response
import uvicornapp = FastAPI(title="Transformer对话系统API")# 加载模型（全局单例）
model, tokenizer = load_dialog_model()class UserInput(BaseModel):text: strmax_length: int = 1000@app.post("/chat")
async def chat_endpoint(user_input: UserInput):try:response = generate_response(model, tokenizer,user_input.text,max_length=user_input.max_length)return {"response": response}except Exception as e:return {"error": str(e)}if __name__ == "__main__":uvicorn.run(app, host="0.0.0.0", port=8000)

启动API服务：

uvicorn api:app --reload

3. 创建Streamlit前端界面

创建app.py文件：

import streamlit as st
import requests# 设置页面
st.set_page_config(page_title="智能对话机器人",page_icon="🤖",layout="wide"
)# 自定义CSS样式
st.markdown("""
<style>
.chat-box {border-radius: 10px;padding: 15px;margin: 10px 0;max-width: 80%;
}
.user-msg {background-color: #e6f7ff;margin-left: 20%;border: 1px solid #91d5ff;
}
.bot-msg {background-color: #f6ffed;margin-right: 20%;border: 1px solid #b7eb8f;
}
</style>
""", unsafe_allow_html=True)# 标题
st.title("🤖 Transformer智能对话系统")
st.caption("基于DialoGPT模型的对话机器人 | FastAPI后端 | Streamlit前端")# 初始化会话状态
if "history" not in st.session_state:st.session_state.history = []# 侧边栏配置
with st.sidebar:st.header("配置选项")api_url = st.text_input("API地址", "http://localhost:8000/chat")max_length = st.slider("响应最大长度", 50, 500, 200)temperature = st.slider("生成温度", 0.1, 1.0, 0.7)st.divider()st.info("调整参数说明：\n- 温度值越高，生成越随机\n- 最大长度限制响应文本长度")# 聊天界面
def display_chat():for i, msg in enumerate(st.session_state.history):if msg["role"] == "user":st.markdown(f'<div class="chat-box user-msg">👤 <b>你:</b> {msg["content"]}</div>', unsafe_allow_html=True)else:st.markdown(f'<div class="chat-box bot-msg">🤖 <b>机器人:</b> {msg["content"]}</div>', unsafe_allow_html=True)# 用户输入区域
user_input = st.chat_input("输入消息...")if user_input:# 添加用户消息到历史st.session_state.history.append({"role": "user", "content": user_input})# 调用API获取响应try:response = requests.post(api_url,json={"text": user_input, "max_length": max_length}).json()if "response" in response:bot_response = response["response"]st.session_state.history.append({"role": "bot", "content": bot_response})else:st.error(f"API错误: {response.get('error', '未知错误')}")except Exception as e:st.error(f"连接API失败: {str(e)}")# 显示聊天记录
display_chat()# 添加清空按钮
if st.sidebar.button("清空对话历史"):st.session_state.history = []st.experimental_rerun()

系统部署与运行

启动步骤：

启动FastAPI后端：
```
uvicorn api:app --reload --port 8000
```
启动Streamlit前端：
```
streamlit run app.py
```
访问Streamlit提供的URL（通常是http://localhost:8501）

性能优化建议

模型优化：
- 使用模型量化技术减少内存占用
- 实现缓存机制存储常见问题的回答
- 考虑使用更小的模型变体（如DialoGPT-small）
API优化：
- 添加请求限流机制
- 实现异步处理
- 添加JWT认证保护API

# 示例：异步模型调用
@app.post("/chat")
async def chat_endpoint(user_input: UserInput):response = await asyncio.to_thread(generate_response, model, tokenizer, user_input.text,user_input.max_length)return {"response": response}