自己做的网站和ie不兼容微信群二维码推广平台
CentOS 服务器安装 Hadoop 和 Hive流程
请将以下的路径更换为自己的路径
1. 环境准备
1.1 安装 JDK
Hadoop 和 Hive 需要 Java 运行环境，这里安装 OpenJDK 1.8：
# 查看 Java 版本
java -version
1.2 创建 Hadoop 用户（可选）
useradd hadoop
passwd hadoop
2. 安装 Hadoop
2.1 下载 Hadoop 3.3.6
wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
2.2 解压并移动到目标目录
tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /opt/CJY/hadoop
2.3 配置环境变量
编辑 /etc/profile 或 ~/.bashrc，添加以下内容：
export HADOOP_HOME=/opt/CJY/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
然后执行：
source /etc/profile
2.4 修改 Hadoop 配置
进入 Hadoop 配置目录：
cd $HADOOP_HOME/etc/hadoop
2.4.1 修改 hadoop-env.sh
export JAVA_HOME=/usr 自己的javahome
2.4.2 配置 core-site.xml
自己的地址，localhost使用服务器的内网地址比如：10.9.6.8
<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>
2.4.3 配置 hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>
2.5 初始化 HDFS
hdfs namenode -format
2.6 启动 Hadoop
start-dfs.sh
访问 Web UI 进行验证：
- NameNode WebUI:
http://<服务器IP>:9870
3. 安装 Hive
3.1 下载 Hive 3.1.3
wget https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
3.2 解压并移动到目标目录
tar -zxvf apache-hive-3.1.3-bin.tar.gz
mv apache-hive-3.1.3-bin /opt/CJY/hive
3.3 配置环境变量
编辑 /etc/profile 或 ~/.bashrc，添加以下内容：
export HIVE_HOME=/opt/CJY/hive
export PATH=$PATH:$HIVE_HOME/bin
export HADOOP_HOME=/opt/CJY/hadoop
然后执行：
source /etc/profile
3.4 配置 Hive 使用 MySQL 作为元数据库
3.4.1 创建 Hive 元数据库和用户
也可以使用navicate手动创建
mysql -u root -p
在 MySQL 中执行：
CREATE DATABASE hive_metastore DEFAULT CHARACTER SET utf8;
CREATE USER 'hiveuser'@'localhost' IDENTIFIED BY 'hivepassword';
GRANT ALL PRIVILEGES ON hive_metastore.* TO 'hiveuser'@'localhost';
FLUSH PRIVILEGES;
EXIT;
3.4.2 安装 MySQL JDBC 驱动
从 MySQL 官方网站下载 mysql-connector-java-8.0.26.jar，或者从本地maven仓库拉一个。然后执行：
cp mysql-connector-java-8.0.26.jar /opt/CJY/hive/lib/
3.4.3 创建 hive-site.xml
在/opt/CJY/hive/conf目录下创建创建 hive-site.xml
cd /opt/CJY/hive/conf
vim hive-site.xml
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hive_metastore?createDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.cj.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>hiveuser</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>hivepassword</value></property><property><name>hive.metastore.warehouse.dir</name><value>/opt/CJY/hive/warehouse</value></property>
</configuration>
3.5 初始化 Hive 元数据库
/opt/CJY/hive/bin/schematool -initSchema -dbType mysql -driver com.mysql.cj.jdbc.Driver
3.6 测试 Hive
/opt/CJY/hive/bin/hive
在 Hive CLI 中执行：
SHOW DATABASES;
CREATE TABLE test_table (id INT, name STRING);
INSERT INTO test_table VALUES (1, 'Spark');
SELECT * FROM test_table;
如果返回预期结果，说明 Hive 配置成功！
