我想采集散文 做网站网址浏览大全
本文总结了本地开发环境（Windows系统）中启动推荐系统所需的所有组件命令，包括 Redis、Kafka、Flume 及 SparkStreaming 程序的启动流程。
1. 启动 Redis
进入 Redis 安装目录，执行：
redis-server.exe
测试连接（另开一个终端）：
redis-cli.exe
2. 启动 Zookeeper（Kafka依赖）
进入 Kafka 解压目录，执行：
bin\windows\zookeeper-server-start.bat config\zookeeper.properties
3. 启动 Kafka
（在另一个命令行窗口中操作）
bin\windows\kafka-server-start.bat config\server.properties
4. 创建 Kafka Topic
Kafka Topic 名称：log 和 recommender
进入 Kafka 解压目录，分别执行：
bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic log
bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic recommender
验证 Topics 是否创建成功：
bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092
看到有 log 和 recommender 两个 topic 即成功！
5. 启动 Flume
假设你在 D:\code\apache-flume-1.9.0-bin 目录。
执行：
bin\flume-ng.cmd agent -n agent -c conf -f conf\log-kafka.properties -Dflume.root.logger=INFO,console
注意事项：
log-kafka.properties中 source 改成监听 Windows 的日志文件，比如：D:\\Software\\ECommerceRecommendSystem\\WebServer\\src\\main\\log\\agent.log- Windows 必须用双反斜杠
\\或正斜杠/
6. 启动 Kafka Stream 程序（log ➔ recommender 转换）
你的程序是 IDEA 里的 Java 程序：
- 打开
com.IronmanJay.kafkastream.Application - 直接右键 → 运行
main方法（绿色小三角）
✅ 成功后控制台应该输出：kafka stream started!
7. 启动 Spark Streaming 流处理服务
假设你的 Spark 项目已打成 jar 包，比如 streamingRecommender-1.0-SNAPSHOT.jar。
命令格式：
spark-submit --class com.IronmanJay.streamingRecommender.StreamingRecommender D:\path\to\streamingRecommender-1.0-SNAPSHOT.jar
注意：
- 本地运行 Spark，Master 设置
local[*] - MongoDB 地址记得是
localhost:27017 - Kafka 也是
localhost:9092
8. 测试 Kafka 发送消息
打开生产者：
bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic recommender
然后直接输入（注意是一行 JSON，不要换行）：
{"uid":888,"pid":999,"score":4.5,"ts":1714149555}
回车发送！
总结：启动顺序建议
| 顺序 | 启动项 | 说明 |
|---|---|---|
| 1 | Redis服务器 | 支持缓存 |
| 2 | Zookeeper | 支持Kafka协调 |
| 3 | Kafka服务器 | 支持消息通信 |
| 4 | 创建 Kafka Topic | log 和 recommender |
| 5 | Flume Agent | 采集日志到Kafka |
| 6 | Kafka Stream | 处理log并写入recommender |
| 7 | Spark Streaming | 监听recommender，实时处理 |
| 8 | 测试Kafka生产者 | 发送一条模拟数据验证 |