当前位置：首页 > news >正文

Kafka 生产者和消费者高级用法

news 2025/7/2 13:55:31

Kafka 生产者和消费者高级用法

1 生产者的事务支持
Kafka 从版本0.11开始引入了事务支持，使得生产者可以实现原子操作，确保消息的可靠性。

// 示例代码：使用 Kafka 事务
producer.initTransactions();
try {producer.beginTransaction();producer.send(new ProducerRecord<>("my-topic", "key", "value"));producer.send(new ProducerRecord<>("my-other-topic", "key", "value"));producer.commitTransaction();
} catch (ProducerFencedException | OutOfOrderSequenceException | AuthorizationException e) {producer.close();
} catch (KafkaException e) {producer.close();throw e;
}

2 消费者的多线程处理
在高吞吐量的场景下，多线程消费消息是提高效率的重要手段。消费者可以通过多线程同时处理多个分区的消息。

// 示例代码：多线程消费者
properties.put("max.poll.records", 500);
properties.put("max.poll.interval.ms", 300000);Consumer<String, String> consumer = new KafkaConsumer<>(properties);// 订阅主题 "my-topic"
consumer.subscribe(Collections.singletonList("my-topic"));// 多线程消费消息
int numberOfThreads = 5;
ExecutorService executor = Executors.newFixedThreadPool(numberOfThreads);
while (true) {ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));for (ConsumerRecord<String, String> record : records) {executor.submit(() -> processRecord(record));}
}// 关闭消费者
consumer.close();
executor.shutdown();

3 自定义序列化和反序列化
Kafka 默认提供了一些基本的序列化和反序列化器，但你也可以根据需求自定义实现。这在处理复杂数据结构时非常有用。

// 示例代码：自定义序列化器
public class CustomSerializer implements Serializer<MyObject> {@Overridepublic byte[] serialize(String topic, MyObject data) {// 实现自定义序列化逻辑}
}