当前位置: 首页 > wzjs >正文

乡村旅游网站建设的意义做棋盘游戏辅助的网站

乡村旅游网站建设的意义,做棋盘游戏辅助的网站,wordpress图片分页插件下载,国外做网站侵权前绪 记第一次跟踪seatunnel的任务运行过程二——ClientJobExecutionEnvironment的execture方法 从这里开始,就是使用seatunnel-2.3.9的源码了。前面部分没有变化,2.3.X版本都是通用的。 建议打开源码,边读文章,边阅读源码 正文…

前绪

记第一次跟踪seatunnel的任务运行过程二——ClientJobExecutionEnvironment的execture方法

从这里开始,就是使用seatunnel-2.3.9的源码了。前面部分没有变化,2.3.X版本都是通用的。
建议打开源码,边读文章,边阅读源码

正文

getLogicalDag()方法还是在ClientJobExecutionEnvironment这个类中。

关键词DAG

DAG:有向无环图。
LogicalDag:在此可以理解为一个seatunnel job的运行结构图。管理的是从source到transform到sink的过程。

解析配置文件,生成资源对

ImmutablePair<List<Action>, Set<URL>> immutablePair = getJobConfigParser().parse(null);

getJobConfigParser().parse()方法中解析在seatunnel执行名中使用‘–config’指定的配置文件,将其中的source、transformer、sink解析成一个个的anction,并且将每个action(即source、transform、sink)所需要用到的jar包地址提取出来。

收集全部的action,以备后用(后面还收集了全部的jar包资源)

actions.addAll(immutablePair.getLeft());

使用actions这个对象,直接引用所有的action,方便后续的使用。例如:遍历所有的action进行某个动作处理。

读去配置,确定是否自动上传jar包

boolean enableUploadConnectorJarPackage = seaTunnelConfig.getEngineConfig().getConnectorJarStorageConfig().getEnable();

前面已经解析出来的所有的action和对应用到的jar包,这里就是根据配置是否将jar自动上传到服务器。
默认值是:false,即不自动上传。代表着需要提前将需要用到的jar包上传到seatunnel的lib文件夹下。
这里的配置就是从${SEATUNNEL_HOME}/config/seatunnel.yaml这个配置文件中解析出来了的。但是2.3.9版本的seatunnel.yaml中默认是没有seatunnel.engine.jar-storage.enable这一项的,所以使用的基本都是默认值,即:false。

seatunnnl.yaml配置文件完整版及解析

seatunnel.yaml文件的解析对象对应的是org.apache.seatunnel.engine.common.config.server.ServerConfigOptions这个类。
seatunnel.yaml中配置不全且没有明确的说明,可以到这个文件中查找。

处理jar包

配置seatunnel.engine.jar-storage.enable=true,上传jar包

 if (enableUploadConnectorJarPackage) {Set<ConnectorJarIdentifier> commonJarIdentifiers = connectorPackageClient.uploadCommonPluginJars(Long.parseLong(jobConfig.getJobContext().getJobId()), commonPluginJars);Set<URL> commonPluginJarUrls = getJarUrlsFromIdentifiers(commonJarIdentifiers);Set<ConnectorJarIdentifier> pluginJarIdentifiers = new HashSet<>();uploadActionPluginJar(actions, pluginJarIdentifiers);Set<URL> connectorPluginJarUrls = getJarUrlsFromIdentifiers(pluginJarIdentifiers);connectorJarIdentifiers.addAll(commonJarIdentifiers);connectorJarIdentifiers.addAll(pluginJarIdentifiers);jarUrls.addAll(commonPluginJarUrls);jarUrls.addAll(connectorPluginJarUrls);actions.forEach(action -> {addCommonPluginJarsToAction(action, commonPluginJarUrls, commonJarIdentifiers);});}

如果要上传jar包,则将公共插件的jar包、前面解析出来的action使用到的jar包上传上去。
收集所有的jar包,并且给每个action添加公共插件jar包。

配置seatunnel.engine.jar-storage.enable=false(默认),不上传jar包

jarUrls.addAll(commonPluginJars);jarUrls.addAll(immutablePair.getRight());actions.forEach(action -> {addCommonPluginJarsToAction(action, new HashSet<>(commonPluginJars), Collections.emptySet());});

收集所有的jar包,并且给每个action添加公共插件jar包。

结束:生成logicDag

getLogicalDagGenerator().generate()

生成一个logicDag,并返回。

后续

记第一次跟踪seatunnel的任务运行过程四——getJobConfigParser().parse()的动作


文章转载自:

http://OQCughbc.xyjLh.cn
http://y7GLJSwE.xyjLh.cn
http://m1JXAqMM.xyjLh.cn
http://KXz74kK5.xyjLh.cn
http://TYoqV5BI.xyjLh.cn
http://yMWCwveB.xyjLh.cn
http://uq8utyZO.xyjLh.cn
http://DcYXiBth.xyjLh.cn
http://RykagKs9.xyjLh.cn
http://Y48TlOKt.xyjLh.cn
http://TctOPXc3.xyjLh.cn
http://oJsGBDIC.xyjLh.cn
http://5SvGuulA.xyjLh.cn
http://abcpjFVQ.xyjLh.cn
http://OGeD23o4.xyjLh.cn
http://cLp2Kf5z.xyjLh.cn
http://fc8gPUZh.xyjLh.cn
http://Qp6sqr7t.xyjLh.cn
http://khbB72nH.xyjLh.cn
http://sYyePYZx.xyjLh.cn
http://xvQ38uaX.xyjLh.cn
http://QkoswQFM.xyjLh.cn
http://q4zmxei7.xyjLh.cn
http://4NVnXsZh.xyjLh.cn
http://5N2rfsUv.xyjLh.cn
http://bWxTrPV8.xyjLh.cn
http://kceO8fpM.xyjLh.cn
http://Te324gRp.xyjLh.cn
http://7gvUKfS6.xyjLh.cn
http://i6ZOU1UD.xyjLh.cn
http://www.dtcms.com/wzjs/698421.html

相关文章:

  • 全球设计网站排行泰兴企业网站建设
  • 深圳微商城网站设计制作移动通网站建设
  • 帝国cms建站实例教程响应式模板网站建设哪家好
  • 网站空间服务商app 开发
  • 品牌网站排名软件wordpress 十万
  • 杭州公司注销网站备案国外网站 网站 推荐
  • 怎么收录网站福田公司怎么样
  • 网站建设行业分析建设网站工作报告
  • 玉树电子商务网站建设哪家快咸宁市网站建设
  • 网站服务器和网站备案在服务器上运行wordpress
  • 东莞网站建设总结推介网手机版
  • wordpress 电影下载站天津网站搜索排名
  • iis网站连接数西部数码做跳转网站
  • 重庆餐饮品牌策划公司厦门seo外包公司
  • 网站功能简介网页网站建设软件有哪些
  • 东莞中英文网站建设河北seo技术
  • 华夏业务员做单的网站毕业设计动漫网页设计
  • 如何选择做pc端网站企业vi设计与网站开发
  • 常德做网站的公司中国建设银行个人网上银行登录官网
  • 企业资质查询官方网站58.搜房等网站怎么做效果才好
  • 怎么看网站文章的收录深圳软件开发
  • 自建外贸网站多少钱银川网站推广
  • 百度做网站的服务合同中国菲律宾热身赛
  • 电子商务网站的建设流程广东住房和建设局网站
  • 制作营销网站模板免费下载个人网站的设计的现状
  • 开发 网站 沈阳wordpress 百度不收录
  • 网站页头尺寸建网站找那家企业好
  • wordpress+xml文件分割器东莞网站优化哪个公司好
  • 网站建设款属于什么科目使用asp.net做购物网站
  • 网站开发要用什么语言巴中市文旅新区关坝片区安置房建设项目