数据加载与保存
通用方式
SparkSQL提供了通用的数据加载方式，使用spark.read.loa方法，并可通过format指定数据类型（如csv、jdbc、json、orc、parquet、textFile）。
load方法后需传入数据路径（针对csv、jdbc、json、orc、parquet、textFile格式）。
option方法用于设置特定格式的参数，如jdbc的url、user、password、dbtable。
特定格式加载
Parquet：Spark SQL的默认数据源，无需指定format即可载。
JSON：Spark SQL能自动推测JSON数据集结构，使用spark.read.json(path)加载。注意，每行应为一个JSON串。
val path = "/opt/module/spark-local/people.json"
val peopleDF = spark.read.json(path)
查询数据：可以通过SQL语句查询JSON数据。
val resDF = spark.sql("SELECT name FROM people WHERE age BETWEEN 13 AND 19"
CSV：需指定format为csv，并可通过option设置分隔符、是否推断schema、是否包含表头等信息。
MySQL：通过JDBC从关系型数据库读取数据，使用spark.read.format("jdbc").option(...)方式，并传入数据库连接信息。
数据保存
通用方式
使用df.write.save方法保存数据，同样可通过format指定数据类型。
save方法后需传入保存路径（针对csv、orc、parquet、textFile格式）。
option方法用于设置特定格式的参数。
保存操作可使用SaveMode来指明如何处理数据，如覆盖（overwrite）、追加（append）等，通过mode方法设置。
特定格式保存
与加载类似，Parquet、JSON、CSV等格式均可通过指定format进行保存。
MySQL等关系型数据库的写入也通过JDBC实现，需指定format为jdbc，并传入数据库连接信息及表名。
注意事项
在处理JSON数据时，需确保文件格式符合Spark的要求，即每行一个JSON串。
在读取CSV文件时，可通过设置option来指定分隔符、是否推断schema等信息，以便正确解析文件内容。
在通过JDBC连接数据库时，需确保数据库驱动已正确导入，并正确配置数据库连接信息。
在保存数据时，需根据实际需求选择合适的SaveMode，以避免数据覆盖或丢失。
Spark SQL与Hive的集成
Spark SQL可以编译时包含Hive支持，从而提供对Hive表访问、UDF（用户自定义函数）、Hive查询语言（HQL）等特性的支持。在使用时，无需事先安装Hive，但最好在编译Spark SQL时引入Hive支持。
IDEA通过JDBC对MySQL进行操作：
读取数据
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("SQL")
val spark:SparkSession = SparkSession.builder().config(sparkConf).getOrCreate()
import spark.implicits._
//通用的load方式读取
spark.read.format("jdbc")
.option("url","jdbc:mysql://localhost:3306/system")
.option("driver","com.mysql.jdbc.Driver")//com.mysql.cj.jdbc.Driver
.option("user","root")
.option("password","123456")
.option("dbtable","user")
.load().show()
spark.stop()
//通用的load方法的另一种形式
spark.read.format("jdbc")
.options(
Map("url"->"jdbc:mysql://localhost:3306/system?user=root&password=123456","dbtable"->"user","driver"->"com.mysql.jdbc.Driver"))
.load().show()
//通过JDBC
val pros :Properties = new Properties()
pros.setProperty("user","root")
pros.setProperty("password","123456")
val df :DataFrame = spark.read.jdbc("jdbc:mysql://localhost:3306/system","user",pros)
df.show()
写入数据
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("SQL")
val spark:SparkSession = SparkSession.builder().config(sparkConf).getOrCreate()
import spark.implicits._
val rdd: RDD[Stu] = spark.sparkContext.makeRDD(List(Stu("lisi", 20),
Stu("zs", 30)))
val ds:Dataset[Stu] = rdd.toDS()
ds.write.format("jdbc")
.option("url","jdbc:mysql://localhost:3306/system")
.option("driver","com.mysql.jdbc.Driver")
.option("user","root")
.option("password","123456")
.option("dbtable","user2")
.mode(SaveMode.Append)
.save()
spark.stop()