当前位置: 首页 > wzjs >正文

无锡专业做网站的公司哪家好排行榜哪个网站最好

无锡专业做网站的公司哪家好,排行榜哪个网站最好,陕西建设银行社会招聘网站,重庆网站建设拓云Apache Hive 是一个构建在 Hadoop 之上的数据仓库基础设施。它提供了类似 SQL 的查询语言 (称为 HiveQL 或 HQL),让熟悉 SQL 的开发人员和分析师能够轻松地查询和分析存储在 HDFS 或其他兼容存储系统中的大规模数据集。把结构化或半结构化的数据映射成表&#xff0c…

Apache Hive 是一个构建在 Hadoop 之上数据仓库基础设施。它提供类似 SQL 的查询语言 (称为 HiveQL 或 HQL),让熟悉 SQL开发人员和分析师能够轻松地查询和分析存储在 HDFS其他兼容存储系统中的大规模数据集。把结构化或半结构化的数据映射,然后用 HQL 操作,是不是很酷?😎

这篇笔记将指导你完成 Hive基本安装和配置过程,并展示如何通过 DataGrip 连接到 Hive。

一、准备工作:安装 Hive 的先决条件 🛠️

正式开始安装 Hive 之前,请确保你的环境已经满足以下基本要求:Java 环境已安装、Hadoop 集群已启动并运行正常、MySQL环境已安装

二、下载并解压 Hive 安装包 📦

  1. 访问 Apache Hive 官网:前往 Apache Hive 的官方网站 (hive.apache.org) 的下载页面
    在这里插入图片描述

  2. 选择合适的版本根据你的 Hadoop 版本和需求选择一个稳定的 Hive 版本进行下载 (apache-hive-x.y.z-bin.tar.gz)。

    • 假设你已经将安装包上传到 /export/softwares 目录下,例如 apache-hive-3.1.2-bin.tar.gz
  3. 解压安装包到指定目录:将安装包解压/export/server 目录下。

    • 示例解压命令:
cd /export/softwares  # 首先进入安装包所在目录
tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /export/server/
  1. 重命名目录为 hive
    • 示例重命名命令:
cd /export/server/
mv apache-hive-3.1.2-bin hive
<font color="brown">现在,你的 Hive 安装路径就是 `/export/server/hive`。</font>

三、配置 Hive 环境变量 🌍

  1. 编辑配置文件 (~/.bashrc/etc/profile)。
    • 示例编辑命令 (当前用户):
vim ~/.bashrc
  1. 添加以下内容 :
# HIVE_HOME
export HIVE_HOME=/export/server/hive
export PATH=$PATH:$HIVE_HOME/bin
export PATH=$PATH:/export/server/hive/bin
  1. 使配置生效
source ~/.bashrc

四、配置 Hive 核心文件 ⚙️

Hive 的核心配置$HIVE_HOME/conf (即 /export/server/hive/conf) 目录下。

  1. hive-env.sh
    • 复制模板并编辑:
cd $HIVE_HOME/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh
  • hive-env.sh主要配置 (取消注释并修改):
export HADOOP_HOME=/export/server/hadoop
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HIVE_AUX_JARS_PATH=/export/server/hive/lib
  1. hive-site.xml
    • 创建 hive-site.xml:
vim hive-site.xml
  • hive-site.xml添加或修改以下核心配置 (以 MySQL 为例):
    ⚠️ 注意:以下配置是非常基础的示例。
<configuration>
<!-- 存储元数据mysql相关配置 -->
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop01:3306/hive3?createDatabaseIfNotExist=true&amp;useSSL=false&amp;serverTimezone=UTC&amp;allowPublicKeyRetrieval=true</value>
</property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.cj.jdbc.Driver</value>
</property><!-- MySQL账号 -->   
<property><name>javax.jdo.option.ConnectionUserName</name><value>root</value>
</property><!-- MySQL密码 -->
<property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value>
</property><!-- H2S运行绑定host -->
<property><name>hive.server2.thrift.bind.host</name><value>hadoop01</value>
</property><!-- 远程模式部署metastore metastore地址 -->
<property><name>hive.metastore.uris</name><value>thrift://hadoop01:9083</value>
</property><!-- 关闭元数据存储授权  --> 
<property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value>
</property>
</configuration>

五、准备 Metastore 数据库 (以 MySQL 为例) 🐬

  1. 安装 MySQL
    详细安装教程参考《CentOS 7 yum 安装 MySQL 并实现任意主机远程连接》
  2. 准备 MySQL JDBC 驱动
    • 下载 MySQL JDBC 驱动 JAR 文件。
wget https://repo1.maven.org/maven2/com/mysql/mysql-connector-j/8.4.0/mysql-connector-j-8.4.0.jar -O /tmp/mysql-connector-j-8.4.0.jar
  • 将 JAR 文件复制$HIVE_HOME/lib/ (即 /export/server/hive/lib/) 目录下。
    示例复制命令:
cp /tmp/mysql-connector-j-8.4.0.jar /export/server/hive/lib/

六、初始化 Hive Metastore Schema (首次安装时执行) ✨

  • 执行 schema 初始化命令:
$HIVE_HOME/bin/schematool -dbType mysql -initSchema -verbos

如果看到 “Schema initialization [SUCCESS]”,则初始化成功。🎉
在这里插入图片描述
创建Hive存储文件的目录

hadoop fs -mkdir /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

拷贝到hadoop02,hadoop03下面

cd /export/server/
scp -r hive hadoop02:$PWD
scp -r hive hadoop03:$PWD

七、启动 Hive 服务和客户端 🚀 CLI

  1. 启动 HiveServer2 (重要!DataGrip 连接需要)
    • 后台启动 HiveServer2 命令:
nohup /export/server/hive/bin/hive --service metastore &
nohup $HIVE_HOME/bin/hiveserver2 > $HIVE_HOME/logs/hiveserver2.log 2>&1 &

请确保 HiveServer2 服务已成功启动并正在运行。

  1. (可选)启动 Hive CLI (用于直接命令行操作)
    • 启动命令:
hive

示例 HQL 命令 (查看数据库):

hive> SHOW DATABASES;

八、在 DataGrip 中连接 Hive 🐘+🐬=❤️

DataGrip 是一款强大数据库 IDE

  1. 打开 DataGrip
  2. 新建数据源 (Data Source)+ -> Data Source -> Apache Hive

在这里插入图片描述

  1. 配置连接参数
    • 名称: 自定义连接名 (例如 MyHiveCluster)。
    • 主机: HiveServer2 主机名或 IP
    • 端口: HiveServer2 端口号 (默认 10000)。
    • 用户: 连接用户名 (若无特定认证,可留空或填 Hadoop 用户)。
    • 密码: 对应密码

在这里插入图片描述

  1. 测试连接 (Test Connection)

    • 点击 Test Connection 按钮。成功则显示 “Succeeded”。✅
  2. 保存并连接

    • 点击 确定应用

九、常见问题与排错提示 🧐

  • DataGrip 连接 HiveServer2 超时或拒绝连接:检查 HiveServer2 服务状态、主机/端口配置、防火墙。
  • JDBC 驱动问题:确保 DataGrip 加载了正确且完整的 Hive JDBC 驱动。
  • 认证问题:若 HiveServer2 配置了认证,DataGrip 连接需相应调整。
  • MySQL JDBC 驱动问题:强调 hive-site.xml 中 javax.jdo.option.ConnectionDriverName (MySQL 8.x 用 com.mysql.cj.jdbc.Driver) 与 $HIVE_HOME/lib/ 下的 JDBC JAR 版本必须匹配,且旧版驱动要移除。
  • MySQL 连接参数:如 serverTimezone, allowPublicKeyRetrieval 对 MySQL 8.x 的重要性。
    Hadoop htrace-core*.jar 丢失问题:指出 Hadoop 的 common/lib 目录可能缺少此文件,以及如何从 Maven 或 Hadoop 安装包恢复。
  • Guava 版本冲突:解释 Hive 自带 Guava 与 Hadoop Guava 的版本差异,以及如何通过重命名 Hive 的 Guava JAR 来解决。
  • Hive lib 目录完整性:强调如果 Hive 缺少核心类(如 ParseException),可能需要从原始安装包恢复整个 lib 目录。
  • 服务启动日志检查:指导用户如何查看 nohup.out$HIVE_HOME/logs/ 下的日志文件来定位服务启动失败的原因。
  • getcwd 错误:提示用户不要在已被删除的目录中执行命令。
  • HDFS 权限和目录:确保 Hive 在 HDFS 上的工作目录存在且权限正确。

恭喜你!🎉 你不仅搭建了 Hive 数据仓库,还能通过强大的 DataGrip 工具进行可视化操作和查询。大数据分析之旅,现在才刚刚开始!

http://www.dtcms.com/wzjs/55356.html

相关文章:

  • wordpress 宅男猫网站广告咨询
  • 中国建设银行青浦支行网站经典软文案例100例简短
  • 锐狐 网站 后台网站收录怎么弄
  • 做矿业的郑州公司网站福州seo视频
  • 用html做网站网站制作哪家公司好
  • 想给公司做网站中企动力靠谱吗重庆高端网站seo
  • 网站接入商排名大连今日新闻头条
  • 企业网站创建步百度软文推广怎样收费
  • 泰州网站建设解决方案合肥seo搜索优化
  • 门户网站建设解决方案seo关键字排名优化
  • 泰安网站设计网络营销主要有哪些特点
  • 国内网站免备案模板网站哪个好
  • 免费建站建站云优化
  • 后台管理网站名网络软文发布
  • 商务网站建设包含了qq推广工具
  • html代码有哪些百度搜索引擎优化的推广计划
  • 网站如何做品牌营销广州30万人感染
  • 滨州建设厅网站韩国比分预测
  • wordpress国内怎么上seo营销网站的设计标准
  • 做电锯电音的网站惠州seo博客
  • 做网站用的什么语言重庆网站关键词排名优化
  • 商务定制网站北京百度推广开户
  • 汉服网站开发背景小程序推广方案
  • 找网络公司做网站要注意这4个细节唐山公司做网站
  • 湛江市网站建设江门关键词排名优化
  • 古镇网站建设网页怎么搜索关键词
  • 展厅设计搭建展位设计南平seo
  • 中卫网站推广软件免费网站制作app
  • 淘宝网站推广工具百度竞价开户费用
  • 网站建设应该注意的问题长沙seo推广