如何创建RDD

创建RDD（Resilient Distributed Dataset）主要有以下三种方法：

1. 从集合创建RDD

通过将本地集合（如列表、数组）传递给SparkContext的parallelize方法，可以将本地数据转换为RDD。这种方式通常用于测试或开发阶段。

• Python 示例：

  Python

  复制

  from pyspark import SparkContext
  sc = SparkContext("local", "RDDExample")
  data = [1, 2, 3, 4, 5]
  rdd = sc.parallelize(data)

• Scala 示例：

  scala

  复制

  import org.apache.spark.{SparkConf, SparkContext}
  val conf = new SparkConf().setAppName("RDDExample").setMaster("local")
  val sc = new SparkContext(conf)
  val data = Array(1, 2, 3, 4, 5)
  val rdd = sc.parallelize(data)

2. 从外部存储加载数据创建RDD

通过SparkContext的textFile、sequenceFile等方法，可以从外部存储系统（如HDFS、本地文件系统、S3）加载数据创建RDD。

• 从文本文件加载RDD：

  Python

  复制

  rdd = sc.textFile("data.txt")

• 从HDFS加载RDD：

  Python

  复制

  rdd = sc.textFile("hdfs://namenode:port/data.txt")

3. 从其他RDD转换创建RDD

通过对已有的RDD进行转换操作（如map、filter、flatMap等），可以生成新的RDD。

• Python 示例：

  Python

  复制

  rdd = sc.parallelize([1, 2, 3, 4, 5])
  new_rdd = rdd.map(lambda x: x * 2)

• Scala 示例：

  scala

  复制

  val rdd = sc.parallelize(Array(1, 2, 3, 4, 5))
  val newRdd = rdd.map(x => x * 2)

总结：

• 从集合创建RDD：适合测试和开发。

• 从外部存储加载RDD：适合处理大规模数据。

• 从其他RDD转换创建RDD：适合数据处理和分析。