大数据学习（76）-Impala计算引擎

🍋🍋大数据学习🍋🍋

🔥系列专栏： 👑哲学语录: 用力所能及，改变世界。
💖如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞

---

        Impala的计算引擎是其自研的分布式计算引擎，该引擎由Query Planner（查询规划器）、Query Coordinator（查询协调器）和Query Exec Engine（查询执行引擎）三部分组成。

一、Query Planner（查询规划器）

功能：负责将SQL查询语句转化为执行计划。

实现：通常使用Java语言编写，并通过JNI（Java Native Interface）接口与后端的C++代码进行交互。

二、Query Coordinator（查询协调器）

功能：负责调度和执行查询计划，以及收集并返回查询结果。

工作方式：接收到SQL查询的节点会成为Coordinator节点，该节点通过Query Planner将查询转化为执行计划，并交给Query Coordinator进行调度。Query Coordinator会将任务分配给其他Impala节点的Query Executor进行并行化处理。

三、Query Exec Engine（查询执行引擎）

功能：负责具体的数据查询执行，如数据扫描、聚合、排序等操作。

实现：使用C++语言编写，以优化性能。每个工作节点的Query Executor在处理完自己负责的查询部分后，会各自将结果上报给协调节点的Query Coordinator，由Coordinator节点进行汇总并返回给用户。

四、Impala计算引擎的特点

• 内存计算：Impala的计算引擎支持基于内存的计算，能够大大降低查询的延迟。与传统的基于磁盘的MapReduce计算模型相比，Impala的内存计算模型在处理大规模数据集时具有更高的性能。
• 分布式并行处理：Impala的计算引擎采用分布式并行处理架构，能够将查询任务拆分成多个子任务，并在多个节点上并行执行。这种架构能够充分利用集群的计算资源，提高查询的吞吐量。
• 与存储引擎分离：Impala的计算引擎与存储引擎是分离的，这意味着Impala可以支持多种不同的存储系统，如HDFS、HBase等。这种分离的设计使得Impala更加灵活和可扩展。

五、组件交互

• Metastore（元数据存储服务）：Impala使用Hive的Metastore来存储表结构、位置等以及与查询相关的元数据信息。每个Impala节点都会在本地缓存元数据，以节省查询时的开销。
• Statestore（状态管理服务）：负责收集每个Impalad（Impala守护程序）的健康状况。如果节点故障，Statestore会将故障信息通知集群所有的Impalad，以确保查询任务的正常执行。

        Impala的自研分布式计算引擎是其高性能查询能力的关键所在。该引擎通过内存计算、分布式并行处理以及与存储引擎的分离设计，为用户提供了快速、灵活和可扩展的大数据查询体验。