大数据学习（53）-Hive与Impala
&&大数据学习&&
🔥系列专栏： 👑哲学语录: 承认自己的无知，乃是开启智慧的大门
💖如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞
1. 执行引擎
Hive
-
基于 MapReduce 或 Tez：
-
Hive 最初是基于 MapReduce 的，MapReduce 是一种批处理框架，适合处理大规模数据，但延迟较高。
-
即使后来引入了 Tez 作为执行引擎，Hive 仍然是以批处理为核心，不适合低延迟查询。
-
-
中间结果写磁盘：
-
MapReduce 和 Tez 在执行过程中会将中间结果写入磁盘，导致额外的 I/O 开销。
-
Impala
-
基于 MPP（大规模并行处理）架构：
-
Impala 采用 MPP 架构，类似于传统的关系型数据库（如 Greenplum、Vertica），能够在内存中并行处理查询。
-
-
全内存计算：
-
Impala 的查询执行过程主要在内存中进行，避免了频繁的磁盘 I/O，显著提高了查询速度。
-
-
无 MapReduce 开销：
-
Impala 不依赖 MapReduce，直接读取 HDFS 数据并进行计算，减少了额外的调度和任务管理开销。
-
2. 查询优化
Hive
-
优化器较弱：
-
Hive 的查询优化器相对简单，生成的执行计划可能不够高效。
-
-
动态代码生成：
-
Hive 在运行时需要将 HiveQL 转换为 MapReduce 或 Tez 任务，增加了额外的开销。
-
Impala
-
强大的查询优化器：
-
Impala 的查询优化器更先进，能够生成更高效的执行计划。
-
-
LLVM 编译：
-
Impala 使用 LLVM（低级虚拟机）将查询编译为本地机器代码，进一步提高了执行效率。
-
-
谓词下推：
-
Impala 支持谓词下推（Predicate Pushdown），在数据扫描阶段就过滤掉不必要的数据，减少了数据传输和处理的开销。
-
3. 数据访问
Hive
-
依赖 HDFS：
-
Hive 的数据存储在 HDFS 上，每次查询都需要从 HDFS 读取数据，延迟较高。
-
-
数据格式支持：
-
虽然 Hive 支持多种数据格式（如 ORC、Parquet），但某些格式的读取效率不如 Impala。
-
Impala
-
直接访问 HDFS：
-
Impala 直接读取 HDFS 数据，避免了 MapReduce 的额外开销。
-
-
优化数据格式：
-
Impala 对 Parquet 和 ORC 等列式存储格式进行了深度优化，能够快速读取和处理数据。
-
-
数据本地性：
-
Impala 充分利用数据本地性（Data Locality），在数据所在的节点上执行计算，减少了数据传输的开销。
-
4. 资源管理
Hive
-
依赖 YARN：
-
Hive 的资源管理依赖于 YARN，YARN 的调度和资源分配可能引入额外的延迟。
-
-
任务启动开销：
-
每次查询都需要启动 MapReduce 或 Tez 任务，增加了任务启动和调度的开销。
-
Impala
-
独立资源管理：
-
Impala 不依赖 YARN，直接管理资源，减少了调度和资源分配的开销。
-
-
长服务进程：
-
Impala 的守护进程（Impala Daemon）是长期运行的，查询可以直接在这些进程上执行，避免了任务启动的开销。
-
5. 并发处理
Hive
-
并发能力有限：
-
Hive 的并发能力受限于 MapReduce 或 Tez 的调度机制，高并发场景下性能下降明显。
-
Impala
-
高并发支持：
-
Impala 的 MPP 架构支持高并发查询，能够在多个节点上并行处理查询请求。
-
-
资源隔离：
-
Impala 支持资源池（Resource Pool），可以为不同的查询分配不同的资源，提高并发性能。
-
6. 功能差异
Hive
-
功能丰富：
-
Hive 支持复杂的数据类型、UDF 和事务处理，功能更加全面。
-
-
适合批处理：
-
Hive 的设计目标是批处理，适合大规模数据离线分析。
-
Impala
-
功能精简：
-
Impala 的功能相对精简，专注于 OLAP 场景，适合快速查询。
-
-
实时查询：
-
Impala 的设计目标是低延迟查询，适合实时分析和交互式查询。
-
总结
| 特性 | Hive | Impala |
|---|---|---|
| 执行引擎 | 基于 MapReduce 或 Tez，批处理 | 基于 MPP 架构，全内存计算 |
| 查询优化 | 优化器较弱，动态代码生成 | 强大的查询优化器，LLVM 编译 |
| 数据访问 | 依赖 HDFS，中间结果写磁盘 | 直接访问 HDFS，优化数据格式 |
| 资源管理 | 依赖 YARN，任务启动开销大 | 独立资源管理，长服务进程 |
| 并发能力 | 并发能力有限 | 支持高并发，资源隔离 |
| 功能 | 功能丰富，适合批处理 | 功能精简，适合实时查询 |
Impala 比 Hive 快的原因：
-
全内存计算：避免了磁盘 I/O 开销。
-
MPP 架构：并行处理能力强。
-
LLVM 编译：生成高效的本地机器代码。
-
直接访问 HDFS：减少了额外的调度和任务管理开销。
-
强大的查询优化器：生成更高效的执行计划。
Impala 更适合需要低延迟和高并发的实时查询场景，而 Hive 更适合大规模数据批处理任务。