python-88-实时消费kafka数据批量追加写入CSV文件
文章目录
- 1 模拟数据
- 2 CSV实现追加写入
- 3 pandas实现追加写入
- 4 kafka场景应用
-
- 4.1 模拟发送数据
- 4.2 实时批量写入
- 4.3 关键特性
适用于Kafka实时消费,同时将结果批量追加写入文件的场景。
1 模拟数据
# --- 模拟数据 ---
# 定义一些算法名称和数据集名称用于模拟
import random
from datetime import datetimealgorithms = ['快速排序', '归并排序', '堆排序', '冒泡排序']
datasets = ['小规模数据', '中等规模数据', '大规模数据', '随机数据']# 模拟第一次运行的结果数据
data1 = []
for _ in range(4): # 模拟4次测试test_data = {'测试ID': f"T{random.randint(1000, 9999)}",'算法名称': random.choice(algorithms),'数据集': random.choice(datasets),'数据规模': random.randint(1000, 100000),'执行时间(秒)': round(random.uniform(0.01, 5.0), 3),'内存消耗(MB)': round(random.uniform(10, 200), 1),'测试时间': datetime.now().strftime('%Y-%m-%d %H:%M:%S'),'备注': '初始测试'}data1.append(test_data)# 模拟后续运行,追加更多数据
data2 = []
for _ in range