当前位置: 首页 > news >正文

logstash拉取redisStream的流数据,并存储ES

先说结论, window验证logstash截至2025-06-06 是没有原生支持的。

为啥考虑用redisStream呢?因为不想引入三方的kafka等组件, 让服务部署轻量化, 所以使用现有的redis来实现, 为啥不用list呢? 已经用stream的框架书写了相关的业务处理, 所以更改为list成本太高。

我们有一个服务单独读取redisStream的数据并且写入es。 现在我的日志体系也要接入这套体系中。为了保证后续支持kafka,MQ等消息组件, 我肯定期望是用现有框架,比如logstash来进行支持的。毕竟没啥复杂业务,支持从A的数据源转换为了B的数据源。
以下是试错:

首先服务器使用的jdk1.8 下载了1.8支持的logstash版本。logstash-6.8.23 解析报错。

再下载jdk1.8版本支持的最高版本,logstash-7.9.3报错。

最终下载官网最新版本logstash-9.0.2 还是报错。https://www.elastic.co/downloads/logstash

logstash-9.x版本
因为没有配置文件pipelines.yml 所以 .\bin\logstash.bat --version 并不能查看版本。
使用 .\bin\logstash.bat -e "input { stdin { } } output { stdout {} }" 验证服务是否正常启动。
安装redis的支持:
bin/logstash-plugin install logstash-input-redis (当前插件3.7.1)
执行报错:
This setting must be a ["list", "channel", "pattern_channel"]
data_type只支持list和channel。 没有stream的支持,

使用deepseek、豆包、文心一言等多种大数据检索,都告诉我支持stream. 结果我的本地项目愣是没有跑起来, 不确定是否是因为我用window跑的原因, 下次用linux跑以下试试,再来更新结论。 

相关文章:

  • Kubernetes弃用Docker:技术演进与生态变革的深度解析
  • 5.2 HarmonyOS NEXT应用性能诊断与优化:工具链、启动速度与功耗管理实战
  • Tika Server:企业级文档内容解析的轻量级服务化方案
  • 发版前后的调试对照实践:用 WebDebugX 与多工具构建上线验证闭环
  • AI大模型学习三十三、HeyGem.ai 服务端(ubuntu)docker 安装 /客户端(win)分离部署
  • CentOS 7 如何安装llvm-project-10.0.0?
  • 使用Python和OpenCV实现图像识别与目标检测
  • 负载均衡LB》》HAproxy
  • 全球长序列高分辨率光合有效辐射(PAR)(1984-2018)
  • 三、元器件的选型
  • 水库大坝安全监测系统是什么?需要用到哪些设备?
  • 分布式协同自动化办公系统-工作流引擎-流程设计
  • LeetCode 2434.使用机器人打印字典序最小的字符串:贪心(栈)——清晰题解
  • VS Code使用 SSH 扩展连接主机出现失败的解决方案
  • 【手写数据库核心揭秘系列】第10节 SQL解析树的结构,语言识别与程序执行之间的桥梁
  • 超构光学与 AR 的深度融合 | 攻克 VAC 与眼动范围难题
  • Python60日基础学习打卡Day45
  • 国标GB28181设备管理软件EasyGBS远程视频监控方案助力高效安全运营
  • vscode自定义主题语法及流程
  • mybatis中判断等于字符串的条件怎么写
  • 传奇私服网站搭建教程/百度收录入口提交查询
  • 网站建设客户在哪里找/百度免费下载安装百度
  • 网站推广传单/国家市场监督管理总局官网
  • 洋桥网站建设公司/网站权重是怎么提升的
  • 怎么把网站建设推广出去/阿里云搜索
  • 北京市公共资源交易服务平台/seo引擎搜索网站