Spark，数据清洗

数据清洗

先创建一个文档然后写几条数据

eg：如下姓名+年龄+性别 而数据中我们可明显看到第2,7行数据是错误的，现在我们把它洗掉

代码展示

运行结果：可以看到“脏”数据已经被洗出去了

【拓展】：如何把清洗之后的数据保存到一个文件中？

答：可以使用coalesce(1)这个方法可以让结果全部保存在一个文件中。

val singlePartitionRDD = cleanedLines.coalesce(1)// 保存清洗后的数据到文件val outputPath = "path/to/your/output/file.txt"singlePartitionRDD.saveAsTextFile(outputPath)// 停止 SparkContextsc.stop()