当前位置: 首页 > news >正文

启动Flink SQL Client并连接到YARN集群会话

该命令用于启动Flink SQL Client,并连接到YARN集群会话:

${FLINK_HOME}/bin/sql-client.sh embedded -i ${FLINK_HOME}/conf/sql-client-init.sql -s yarn-session

各部分含义如下:

  1. 核心执行文件
  • ${FLINK_HOME}/bin/sql-client.sh:Flink SQL Client启动脚本
    ${FLINK_HOME}:Flink安装目录的环境变量
    sql-client.sh:Flink SQL交互客户端的可执行脚本
  1. 运行模式参数
  • embedded:指定SQL Client以嵌入式模式运行
    – 特点:客户端与Flink集群在同一进程内启动
    – 适用场景:开发调试、单机测试或轻量级作业
    – 对比:remote模式需连接独立部署的Flink集群
  1. 初始化脚本参数
  • -i ${FLINK_HOME}/conf/sql-client-init.sql:指定启动时执行的初始化SQL文件
    – 作用:预加载SQL语句(如创建表、设置配置、注册函数等)
    – 示例场景:
-- sql-client-init.sql可能包含的内容
CREATE TABLE user_log (...); -- 预定义表结构
SET 'execution.checkpointing.interval' = '10s'; -- 设置检查点间隔
  1. 执行环境参数
  • -s yarn-session:指定在YARN会话模式下运行Flink作业
    工作原理:连接到已创建的YARN Session集群(需提前通过yarn-session.sh启动)
    .
    .
    优势
    …资源复用:多个作业共享同一YARN会话资源
    …快速提交:避免每次作业启动时的YARN资源申请开销
    …集群管理:由YARN负责资源调度和容器管理
    .
    .
    执行流程
    …1.解析${FLINK_HOME}环境变量定位Flink安装目录
    …2.以嵌入式模式启动SQL Client进程
    …3.执行初始化脚本sql-client-init.sql,完成环境准备
    …4.连接到YARN集群中的现有会话(需确保yarn-session已提前启动)
    …5.进入交互式SQL命令行界面,可直接输入Flink SQL语句执行
    .
    .
  • 注意事项
  • 需提前启动YARN Session:${FLINK_HOME}/bin/yarn-session.sh -n 2 -s 4(2个TaskManager,每个4个slot)
  • 初始化脚本路径需存在且有执行权限
  • 适用于Flink 1.11+版本,低版本可能参数名称不同(如旧版本用-m yarn-cluster
http://www.dtcms.com/a/348276.html

相关文章:

  • Node.js自研ORM框架深度解析与实践
  • 柱状图中最大的矩形+单调栈
  • STM32 入门实录:macOS 下从 0 到点亮 LED
  • Java全栈开发面试实录:从基础到实战的深度探讨
  • 微服务-19.什么是网关
  • 【论文阅读】AI 赋能基于模型的系统工程研究现状与展望
  • Redis--day12--黑马点评--附近商铺用户签到UV统计
  • Excel 表格 - 合并单元格、清除单元格格式
  • 包裹堆叠场景漏检率↓79%!陌讯多目标追踪算法在智慧物流的实践优化
  • EXCEL实现复制后倒序粘贴
  • 暗影哨兵:安全运维的隐秘防线
  • 深度学习部署实战 Ubuntu24.04单机多卡部署ERNIE-4.5-VL-28B-A3B-Paddle文心多模态大模型(详细教程)
  • 用墨刀开发能碳管理系统 —— 从流程图到设计稿全流程拆解
  • EAM、MES和CRM系统信息的整理
  • c语言指针学习
  • C文件编译
  • IQC、IPQC、PQC、FQC、OQC在ERP/MES/WMS中的系统协同
  • 【SBP】Unity 打包构建管线原理解析于对比
  • 什么是服装企业管理软件?
  • 【Canvas与旗帜】金波浪圈法兰西国旗
  • 广告业务连续四季度双位数增长,B站做了什么?
  • DAY 51 复习日+退款开始
  • 数据挖掘 4.8 评估泛化能力
  • 【DeepResearch调研】基于知识图谱与数据合成的大语言模型幻觉缓解研究前沿
  • C++ Core Guidelines: 最佳实践与深入解析
  • 服务器硬件电路设计之 SPI 问答(五):服务器场景下的ESD防护策略与通信故障诊断指南
  • Flink元空间异常深度解析:从原理到实战调优指南
  • LLM实践系列:利用LLM重构数据科学流程07 - 工程化实践与挑战
  • 计算机网络基础(三) --- TCP/IP网络结构(运输层)
  • 实时操作系统FreeRTOS移植到STM32VGT6