当前位置: 首页 > wzjs >正文

做网站的公司 杭州冯站长之家

做网站的公司 杭州,冯站长之家,企业微信怎么注册,百度网站如何做在大数据处理领域,Spark-SQL与Hive的结合能发挥强大的功能。今天就来给大家分享一下Spark-SQL连接Hive的多种方式。 Spark SQL编译时可选择包含Hive支持,这样就能使用Hive表访问、UDF、HQL等特性,而且无需提前安装Hive。其连接方式丰富多样…


 
在大数据处理领域,Spark-SQL与Hive的结合能发挥强大的功能。今天就来给大家分享一下Spark-SQL连接Hive的多种方式。
 
Spark SQL编译时可选择包含Hive支持,这样就能使用Hive表访问、UDF、HQL等特性,而且无需提前安装Hive。其连接方式丰富多样。内嵌Hive使用简单,但实际生产中很少用。外部Hive的连接稍复杂些,需要将hive-site.xml、core-site.xml和hdfs-site.xml拷贝到conf/目录下,修改hive-site.xml中的连接地址,把MySQL驱动copy到jars/目录下,最后重启spark-shell 就能成功连接。
 
Spark beeline利用Spark Thrift Server实现与HiveServer2的无缝兼容。连接时步骤和外部Hive类似,启动Thrift Server后,用beeline -u jdbc:hive2://node01:10000 -n root连接。Spark SQL CLI能在本地运行Hive元数据服务和执行查询,将mysql驱动和hive-site.xml文件分别放入jars/和conf/目录,运行bin/目录下的spark-sql.cmd即可。
 
通过代码操作Hive,要先导入相关依赖,把hive-site.xml文件拷贝到项目的resources目录中。不过在实际操作中可能会遇到一些问题,比如权限错误,这时可以通过设置System.setProperty("HADOOP_USER_NAME", "node01")解决。如果创建的数据库在本地仓库,想让其在指定的HDFS路径,可通过修改“spark.sql.warehouse.dir”配置实现。
 
 

http://www.dtcms.com/wzjs/442667.html

相关文章:

  • 服务器色情网站专用seo教程技术优化搜索引擎
  • 中国企业网站建设百度云搜索引擎网站
  • 怎样批量做全国网站热搜词工具
  • 留学网站模板九个关键词感悟中国理念
  • 淘客免费网站建设如何做网页设计
  • 宜昌最新消息今天关键词怎么优化
  • 在Vs中做网站接口关键词搜索量怎么查
  • 青海wap网站建设长沙seo智优营家
  • 美国合租网站北京seo优化哪家公司好
  • 网站建设和维护采购协议书搜索关键词排名优化技术
  • 合肥网站建设pqiw青岛网站建设方案服务
  • 南通哪些公司做网站营销方案怎么写模板
  • 如何说课网站建设营销渠道模式有哪些
  • 做网站选用什么域名比较好企业如何进行网络营销
  • 网站建设入账时进那个会计科目长春seo公司哪家好
  • 平台型网站建设太原竞价托管公司推荐
  • 可以直接做海报的网站焦作关键词优化排名
  • 电商网站数据中心建设方案长春网站建设平台
  • 请人做网站卖东西好吗看片应该搜什么关键词哪些词
  • wordpress 显示 列表seo关键词排名优化系统源码
  • 做网站菜单背景图片pc网站优化排名
  • 做网站的什么公司最好刷百度指数
  • tp框架做网站的优点推广哪个app最挣钱
  • 自己怎么设置网站定制营销型网站建设
  • 企业网站代备案关键词优化是怎么弄的
  • 廊坊做网站的企业哪家好百度应用市场app下载安装
  • 印团网网站是哪家做的百度app交易平台
  • 网站建设相关技术营销方案模板
  • 苏州电商关键词优化郑州seo哪家好
  • 产品公司网站建设方案模板小红书关键词检测