宁德市路桥建设有限公司网站seo 推广服务
由于Spark的计算是在内存中完成，因此任务执行的生命周期lineage（血统）越长，执行出错的概念就会越大。Spark通过检查点Checkpoint的方式，将RDD的状态写入磁盘进行持久化的保存从而支持容错。如果在检查点之后有节点出现了问题，Spark只需要从检查点的位置开始重新执行lineage就可以了，这样就减少了开销。设置checkpoint的目录，可以是本地的文件夹，也可以是HDFS。
| 视频讲解如下 |
|---|
| 【赵渝强老师】Spark的容错机制：检查点 |
建议在生产系统中采用具有容错能力、高可靠的文件系统作为检查点保存的目的地。
1、使用本地目录作为检查点目录
这种模式需要将spark-shell运行在本地模式上。下面的代码使用了本地目录作为RDD检查点的目录
（1）设置检查点目录。
scala> sc.setCheckpointDir("file:///root/temp/checkpoint")
（2）创建RDD。
scala> val rdd1 = sc.textFile("hdfs://bigdata111:9000/input/sales")
（3）标识RDD的检查点。
scala> rdd1.checkpoint
（4）执行计算。
scala> rdd1.count
（5）当计算完成后，查看本地的/root/temp/checkpoint目录下生成了相应的检查点信息，如下图所示。
2、使用HDFS目录作为检查点目录。
这种模式需要将spark-shell运行在集群模式上。下面的代码使用了HDFS目录作为RDD检查点的目录
（1）设置检查点目录。
scala> sc.setCheckpointDir("hdfs://bigdata111:9000/spark/checkpoint")
（2）创建RDD。
scala> val rdd1 = sc.textFile("hdfs://bigdata111:9000/input/sales")
（3）标识RDD的检查点。
scala> rdd1.checkpoint
（4）执行计算。
scala> rdd1.count
（5）当计算完成后，查看HDFS的/spark/checkpoint目录下生成了相应的检查点信息，如下图所示。
