ZZ052-大数据应用与服务-竞赛样题 部分自己解析

参考样题

背景描述：

近年来随着社会经济的快速发展，百姓生活水平的不断提高，外出旅游成为很多人生活的热门选择，如何促进旅游业的发展成为各级政府高度重视的工作。为了更好地统筹管理城市的旅游资源，某省的旅游管理部门采集了本省若干城市的酒店经营数据和用户评论数据，其中酒店经营数据包括日期、城市、酒店名称、酒店星级、酒店当天预定房间数、酒店当天入住客户数、酒店当天最高房价和酒店当天最低房价等字段，这些数据保存到文件 hotel.csv 中。用户评论数据包括日期、城市、酒店名称、住客评分、评论内容等字段， 这些数据保存到文件comments.csv 中。你作为技术人员，需要通过数据采集清洗、数据标注、数据分析、数据可视化、务分析等步骤对酒店经营数据和用户评 论数据进行处理，从而为政府制定旅游发展的政策提供决策依据。请按 照下面的要求完成相关任务。

模块一：平台搭建与运维

任务一：大数据平台搭建

子任务 1 Hadoop 完全分布式安装配置
本任务需要使用root用户完成相关配置，安装Hadoop需要配置前置环境。命令中要求使用绝对路径，具体要求如下:

1. 从 Master 中 的 /opt/software 目 录 下 将 文 件 hadoop-3.1.3.tar.gz 、 jdk-8u191-linux-x64.tar.gz 安 装 包 解 压 到/opt/module 路径中(若路径不存在，则需新建)，将命令和结果复制粘贴至对应报告中；

命令：mkdir和cp

解压命令：tar -zxvf

2)修改 Master 中/etc/profile 文件，设置 JDK 环境变量并使其生效， 配置完毕后在Master节点分别执行“ java -version” 和“ javac” 命令，将命令和结果复制粘贴至对应报告中；

3)将三个节点分别命名为master、slave1、slave2，并做免密登录，用scp命令并使用绝对路径从Master复制JDK解压后的安装文件到slave1、slave2节点（若路径不存在，则需新建），并配置slave1、slave2 相关环境变量，将命令和结果复制粘贴至对应报告中；

4)在 Master将 Hadoop 解压到/opt/module(若路径不存在，则需新建)目录下，并将解压包分发至slave1、slave2中，其中master、slave1 、slave2 节点均作为datanode ， 配置好相关环境， 初始化Hadoop 环境namenode，将命令和结果复制粘贴至对应报告中；

5)启动 Hadoop 集群（包括 hdfs 和 yarn），使用 jps 命令查看Master 节点与 slave1 节点的 Java 进程，将命令和结果复制粘贴至对应报告中。

子任务2 Hive安装配置

本任务需要使用 root 用户完成相关配置，已安装 Hadoop及需要配置前置环境，具体要求如下：

1)从Master中的/opt/software目录下将文件apache-hive-3.1.2-bin.tar.gz 、 mysql-connector-java-5.1.37.jar 安 装 包 解 压 到/opt/module 目录下，将命令和结果复制粘贴至对应报告中。

2. 设置Hive环境变量， 并使环境变量生效， 执行命令hive --version 将命令和结果复制粘贴至对应报告中。

3)完成相关配置并添加所依赖包，将MySQL数据库作为Hive元数据库。初始化Hive元数据，并通过schematool相关命令执行初始化，将命令和结果复制粘贴至对应报告中。

需要培训私信博主，资源环境也可以（包拿奖）！！