当前位置: 首页 > news >正文

Flume之选择器:复制和多路复用(比喻化理解

Flume 的选择器决定了Source 如何将数据分发到多个 Channel。这就像 “快递员如何分配包裹到不同的运输通道”,有两种策略:复制多路复用

一、复制(Replicating Selector):每个 Channel 都送一份

核心逻辑

将同一个 Event(数据)复制到所有配置的 Channel,就像 “一个快递员同时给多个收件人发相同的包裹”。

应用场景
  • 需要将数据同时写入多个目的地(如同时备份到 HDFS 和 Kafka)。
  • 示例:监控系统日志,同时存储到 HDFS(长期归档)和 Elasticsearch(实时搜索)。
配置示例
# Source配置
a1.sources = r1
a1.channels = c1 c2  # 配置两个Channel# 选择器类型:复制(默认)
a1.sources.r1.selector.type = replicating

二、多路复用(Multiplexing Selector):按规则分配

核心逻辑

根据 Event 的Header 值(类似包裹上的 “地址标签”),将数据路由到不同的 Channel,就像 “快递员按收件地址分区域派送”。

应用场景
  • 根据数据类型拆分(如将错误日志和访问日志分到不同 Channel)。
  • 示例:电商订单数据,按支付方式(微信 / 支付宝)分流到不同 Kafka Topic。
配置示例
# Source配置
a1.sources = r1
a1.channels = c1 c2  # 配置两个Channel# 选择器类型:多路复用
a1.sources.r1.selector.type = multiplexing# 按Header中的"type"字段路由
a1.sources.r1.selector.header = type
a1.sources.r1.selector.mapping.error = c1  # type=error的Event走c1
a1.sources.r1.selector.mapping.access = c2  # type=access的Event走c2
a1.sources.r1.selector.default = c2  # 未匹配的默认走c2

三、对比与记忆技巧

维度复制(Replicating)多路复用(Multiplexing)
数据流向一个 Event 复制到所有 Channel一个 Event 只走一个 Channel(按规则选)
比喻快递员给每个客户都发相同的包裹快递员按地址分区派送包裹
配置关键词replicating(默认,无需显式配置)multiplexing + header + mapping
典型场景数据备份、多目的地存储数据分类、分流处理

四、一句话总结

  • 复制:“一份数据,所有管道都走一遍”(适合备份);
  • 多路复用:“不同数据走不同管道”(适合分类)。

如果还是容易混淆,可以想象:

  • 复制像 “群发消息”(所有人都收到相同内容);
  • 多路复用像 “智能分拣”(根据包裹标签选择不同运输路线)。

相关文章:

  • 频湖脉决全文
  • 科技成果鉴定测试怎么进行?进行鉴定测试有什么好处
  • Java对象内存分配优化教学
  • Python图形化秒表:使用Turtle打造精确计时工具
  • redis 缓存穿透,缓存雪崩,缓存击穿
  • 数字FPGA开发方向,该如何做好职业规划?
  • POI模板生成EXCEL 64000 style in a .xlsx Workbook
  • Flask项目打开总是上一个项目的网页
  • 鸿蒙仓颉开发语言实战教程:实现商城应用详情页
  • python打卡day34
  • 绘制音频信号的各种频谱图,包括Mel频谱图、STFT频谱图等。它不仅能够绘制频谱图librosa.display.specshow
  • 免费AI工具整理
  • 功能强大且易于使用的 JavaScript 音频库howler.js 和AI里如何同时文字跟音频构思想法
  • 个人理解 火山引擎的实时对话 AI 如何利用 WebRTC、大模型、语音识别(ASR)、语音合成(TTS)等技术实现低延迟的实时对话功能。
  • 服务器异常数据问题解决 工具(tcpdump+wireshark+iptables)
  • Spring Boot与Kafka集成实践:从入门到精通
  • 论文略读:If Multi-Agent Debate is the Answer, What is the Question?
  • Android11以上通过adb复制文件到内置存储让文件管理器可见
  • 04-jenkins学习之旅-java后端项目部署实践
  • 根据Cortex-M3(STM32F1)权威指南讲解MCU内存架构与如何查看编译器生成的地址具体位置
  • 怎么用wordpress做网站/系统清理优化工具
  • 武汉建设工程律师/优化网站最好的刷排名软件
  • 石油网站编辑怎么做/微信seo是什么意思
  • 做wow宏的网站/国外网站怎么推广
  • 网站建设 cn/怎么注册网址
  • java 网站开发开什么书/网络公司有哪些