spark df 写入lanceDB

启动配置

--conf spark.sql.catalog.lance=com.lancedb.lance.spark.LanceNamespaceSparkCatalog \

--conf spark.sql.catalog.lance.impl=dir \

--conf spark.sql.catalog.lance.root=${object_storage_path}lancedb/ \

// spark.sql.catalog.lance.root是本地路径或者你对象存储的文件夹路径

数据如果在s3要增加配置:

--conf spark.sql.catalog.lance.storage.region=us-west-9 \

代码写入

spark_df

.write

.format("lance") //lance是表格式

.mode("overwrite")

.saveAsTable(f'lance.default.{table1}')  //lance是catalog 使用--conf中的完整路径