浅谈SSE爬虫

什么是SSE

SSE（Server-Sent Events，服务器推送事件）是一种用于在Web应用程序中实现单向实时数据传输的技术。它允许服务器通过HTTP连接向客户端（通常是浏览器）推送更新的数据，而无需客户端主动请求。

目前主流的大模型 就是采用的 SSE，想deepseek、chatgpt、通以千问。对于需要长时间等待响应的对话场景，大模型 采用了一种巧妙的策略：它会将已经计算出的数据“推送”给用户，并利用 SSE 技术在计算过程中持续返回数据。这样做的好处是可以避免用户因等待时间过长而选择关闭页面。

SSE 基于 HTTP 协议的，传统的HTTP协议是无法直接让服务端推送数据给客户端，因为HTTP是一个请求-响应协议，客户端必须首先发送请求，服务器才能返回响应。这意味着在传统的HTTP通信中，只有在客户端请求时，服务器才会发送数据。

传统HTTP的工作方式:

• 请求-响应模型：客户端发送HTTP请求，服务器处理请求并返回HTTP响应。每次数据交换都需要客户端发起请求。

• 无状态：HTTP是无状态的协议，每个