当前位置: 首页 > wzjs >正文

网站关键词如何做优化杭州网站建设书生商友

网站关键词如何做优化,杭州网站建设书生商友,三门网站制作,丹东做网站Flink基于Yarn多种启动方式详解 随着大数据实时计算需求的日益增长,Flink已成为业界主流的流处理引擎。而在企业级大数据平台中,资源管理和作业调度一般交由Yarn完成。Flink与Yarn深度集成后,不仅充分利用Hadoop生态资源,还能灵活…

Flink基于Yarn多种启动方式详解

随着大数据实时计算需求的日益增长,Flink已成为业界主流的流处理引擎。而在企业级大数据平台中,资源管理和作业调度一般交由Yarn完成。Flink与Yarn深度集成后,不仅充分利用Hadoop生态资源,还能灵活应对各种作业调度和资源隔离需求。本文将系统介绍Flink on Yarn的多种启动方式、适用场景、配置方法及常见问题。


一、Yarn简介

Yarn(Yet Another Resource Negotiator)是Hadoop生态的资源管理和调度平台。它负责集群资源统一分配、作业调度和生命周期管理,是目前大数据平台主流的资源管理框架。

Flink on Yarn指的是将Flink集群作为Yarn的一个应用提交和管理,利用Yarn实现弹性资源分配、作业隔离和高可用。


二、Flink on Yarn的三种运行模式

Flink on Yarn主要支持三种运行模式,分别适用于不同的业务场景:

1. Session Cluster(会话模式)

  • 含义:先在Yarn上启动一个长期运行的Flink集群(Session),后续所有作业都提交到该集群上运行。
  • 优点
    • 启动速度快(作业无需重复拉起集群)。
    • 多个作业可共享资源,适合高频、短小作业提交。
  • 缺点
    • 作业间资源竞争,彼此影响;一个作业异常可能影响整个Session。
  • 适用场景:开发测试环境、实时查询、多个小作业并发运行。

2. Per-Job Cluster(每作业独占模式)

  • 含义:每提交一个Flink作业,自动在Yarn上启动一个全新的Flink集群。作业执行完毕后,集群自动销毁。
  • 优点
    • 作业完全隔离,互不影响。
    • 资源独立分配,便于作业级监控和运维。
  • 缺点
    • 启动集群有一定延迟。
    • 不适合大量小作业频繁提交。
  • 适用场景:生产环境、重要作业、作业独立性要求高的场景。

3. Application Mode(应用模式,Flink 1.11+)

  • 含义:Flink程序的main方法在客户端打包后,通过Yarn ApplicationMaster启动并运行。整个应用的生命周期由Yarn管理。
  • 优点
    • 完整的生命周期管理。
    • 支持资源动态分配。
    • 适合自动化运维与云原生场景。
  • 缺点
    • 启动速度略慢于Session模式。
    • 需要Flink 1.11及以上版本。
  • 适用场景:自动化大数据平台、云原生、作业全生命周期管理。

三、Flink on Yarn各模式启动命令与配置

1. Yarn Session Cluster启动方式

启动Yarn Session
./bin/yarn-session.sh -d \-nm FlinkSessionCluster \-d                   # 后台启动-qu root.default     # 指定Yarn队列(可选)-n 2                 # 启动2个TaskManager-s 2                 # 每个TaskManager 2个slot-jm 1024             # JobManager内存-tm 2048             # TaskManager内存
提交作业到Session Cluster
./bin/flink run -m yarn-cluster \-yid <applicationId> \-c com.example.MyJob \myjob.jar

-yid为Yarn Session对应的ApplicationId,需在Web UI或yarn application -list中查询。

关闭Session Cluster
./bin/yarn-session.sh -id <applicationId> -shutdown

2. Per-Job Cluster启动方式

直接提交作业(自动拉起Flink集群)
./bin/flink run -m yarn-cluster \-yqu root.default \-yn 2 \-ys 2 \-yjm 1024m \-ytm 2048m \-c com.example.MyJob \myjob.jar
  • -m yarn-cluster 指定Yarn集群模式
  • -yn TaskManager数量
  • -ys 每个TaskManager的slot数
  • -yjm JobManager内存
  • -ytm TaskManager内存

作业执行完毕后,Yarn会自动回收该Flink集群资源。

3. Application Mode启动方式(Flink 1.11+)

启动命令
./bin/flink run-application -t yarn-application \-Dyarn.application.name=FlinkAppCluster \-Dyarn.application.queue=root.default \-Djobmanager.memory.process.size=1024m \-Dtaskmanager.memory.process.size=2048m \-Dtaskmanager.numberOfTaskSlots=2 \-c com.example.MyApp \myapp.jar
  • -t yarn-application:指定Application模式
  • 其余参数同Per-Job模式

Application模式下,Flink作业的main方法在Yarn ApplicationMaster进程中执行,生命周期与Yarn Application绑定。


四、配置参数详解与优化建议

  • 资源参数
    • -yn/-n:TaskManager数量
    • -ys/-s:每个TaskManager的slot数
    • -yjm/-jm:JobManager内存
    • -ytm/-tm:TaskManager内存
  • 队列参数
    • -qu/-yqu:指定Yarn队列
  • JAR包相关
    • -c:指定主类
    • -j:指定JAR包路径

建议

  • 合理分配内存和slot,避免资源碎片和浪费。
  • 生产环境建议开启Checkpoint、Savepoint,并将其目录指向HDFS或S3等分布式存储。
  • 合理设置Yarn队列,确保不同业务资源隔离。

五、企业应用场景选型建议

  • Session Cluster:适合开发调试、低优先级作业、频繁提交的小作业。
  • Per-Job Cluster:适合生产环境关键作业、作业间需资源隔离、便于独立监控和升级。
  • Application Mode:适合自动化平台、云原生场景、作业全生命周期管理。

企业内部常见做法:开发测试用Session模式,核心生产作业用Per-Job或Application模式。


六、常见问题与排查

  1. 启动失败/资源不足

    • 检查Yarn队列剩余资源、参数设置是否合理。
    • 查看Yarn ResourceManager的Web UI和日志。
  2. 作业提交后无响应

    • 检查Yarn Application状态,确认JobManager是否正常启动。
    • 检查防火墙、端口连通性。
  3. 作业异常退出

    • 查看Flink Web UI和Yarn Application日志,排查代码或资源问题。
  4. 参数未生效

    • 注意Flink/Yarn参数优先级,部分参数需在flink-conf.yaml中全局配置。

七、总结

Flink on Yarn极大提升了流计算作业的资源利用率、弹性扩展能力和运维便捷性。掌握Session、Per-Job、Application三种模式的启动方式和适用场景,有助于企业根据业务需求构建高效、稳定、可扩展的流处理平台。

如需深入了解Flink on Yarn的高可用配置、与Kafka/HBase等组件集成、资源调度优化等内容,欢迎关注后续博客或留言交流!


http://www.dtcms.com/wzjs/424053.html

相关文章:

  • wordpress制作热门文章东莞seo关键词排名优化排名
  • 广州公司网站建设设计顾站长工具备案查询
  • 沈阳商城网站制作免费收录软文网站
  • 枝江网站建设网站排名提升软件
  • 遵义疫情最新消息今天山东网络推广优化排名
  • 做360手机网站微网站建站平台
  • 新浪网站用什么语言做的推广自己的网站
  • 校园门户网站 建设网络营销策划方案
  • 怎么做网站排名简述网络营销的特点
  • 郑州注册公司流程及费用seo行业网
  • 网站建设杭州杭州百度推广优化排名
  • php做网站特效外贸网站建设优化推广
  • 一般政府网站建设模式有哪些seo在线培训
  • 平湖网站建设公司微商推广哪家好
  • 湖州网站开发软文发布的平台与板块
  • java在线阅读小说网站开发推广类软文
  • c2c电子商务网站建设中国法律服务网app最新下载
  • jsp 做网站还是php手机seo关键词优化
  • 怎么创建个人微信公众号绍兴百度seo排名
  • 衡水企业网站制作报价网上找客户有什么渠道
  • 外贸大型门户网站建设网站seo哪家公司好
  • 朋友 合同 网站制作电商运营培训
  • 怎样做门户网站baidu百度首页
  • 企业建网站分类信息网品牌推广和品牌营销
  • asp.net c 网站开发网站推广公司大家好
  • 网站建设的前端和后端百度开户渠道
  • 北京网站制作的公司百度不让访问危险网站怎么办
  • 南昌网站seo外包百度seo刷排名网址
  • 如何做点击赚钱的网站网站流量统计查询
  • 做电影网站需要多打了服务器百度优化培训