当前位置: 首页 > wzjs >正文

广州公司注册费用seo诊断专家

广州公司注册费用,seo诊断专家,常见的软件开发工具,学做网站记不住代码前绪 记第一次跟踪seatunnel的任务运行过程二——ClientJobExecutionEnvironment的execture方法 从这里开始,就是使用seatunnel-2.3.9的源码了。前面部分没有变化,2.3.X版本都是通用的。 建议打开源码,边读文章,边阅读源码 正文…

前绪

记第一次跟踪seatunnel的任务运行过程二——ClientJobExecutionEnvironment的execture方法

从这里开始,就是使用seatunnel-2.3.9的源码了。前面部分没有变化,2.3.X版本都是通用的。
建议打开源码,边读文章,边阅读源码

正文

getLogicalDag()方法还是在ClientJobExecutionEnvironment这个类中。

关键词DAG

DAG:有向无环图。
LogicalDag:在此可以理解为一个seatunnel job的运行结构图。管理的是从source到transform到sink的过程。

解析配置文件,生成资源对

ImmutablePair<List<Action>, Set<URL>> immutablePair = getJobConfigParser().parse(null);

getJobConfigParser().parse()方法中解析在seatunnel执行名中使用‘–config’指定的配置文件,将其中的source、transformer、sink解析成一个个的anction,并且将每个action(即source、transform、sink)所需要用到的jar包地址提取出来。

收集全部的action,以备后用(后面还收集了全部的jar包资源)

actions.addAll(immutablePair.getLeft());

使用actions这个对象,直接引用所有的action,方便后续的使用。例如:遍历所有的action进行某个动作处理。

读去配置,确定是否自动上传jar包

boolean enableUploadConnectorJarPackage = seaTunnelConfig.getEngineConfig().getConnectorJarStorageConfig().getEnable();

前面已经解析出来的所有的action和对应用到的jar包,这里就是根据配置是否将jar自动上传到服务器。
默认值是:false,即不自动上传。代表着需要提前将需要用到的jar包上传到seatunnel的lib文件夹下。
这里的配置就是从${SEATUNNEL_HOME}/config/seatunnel.yaml这个配置文件中解析出来了的。但是2.3.9版本的seatunnel.yaml中默认是没有seatunnel.engine.jar-storage.enable这一项的,所以使用的基本都是默认值,即:false。

seatunnnl.yaml配置文件完整版及解析

seatunnel.yaml文件的解析对象对应的是org.apache.seatunnel.engine.common.config.server.ServerConfigOptions这个类。
seatunnel.yaml中配置不全且没有明确的说明,可以到这个文件中查找。

处理jar包

配置seatunnel.engine.jar-storage.enable=true,上传jar包

 if (enableUploadConnectorJarPackage) {Set<ConnectorJarIdentifier> commonJarIdentifiers = connectorPackageClient.uploadCommonPluginJars(Long.parseLong(jobConfig.getJobContext().getJobId()), commonPluginJars);Set<URL> commonPluginJarUrls = getJarUrlsFromIdentifiers(commonJarIdentifiers);Set<ConnectorJarIdentifier> pluginJarIdentifiers = new HashSet<>();uploadActionPluginJar(actions, pluginJarIdentifiers);Set<URL> connectorPluginJarUrls = getJarUrlsFromIdentifiers(pluginJarIdentifiers);connectorJarIdentifiers.addAll(commonJarIdentifiers);connectorJarIdentifiers.addAll(pluginJarIdentifiers);jarUrls.addAll(commonPluginJarUrls);jarUrls.addAll(connectorPluginJarUrls);actions.forEach(action -> {addCommonPluginJarsToAction(action, commonPluginJarUrls, commonJarIdentifiers);});}

如果要上传jar包,则将公共插件的jar包、前面解析出来的action使用到的jar包上传上去。
收集所有的jar包,并且给每个action添加公共插件jar包。

配置seatunnel.engine.jar-storage.enable=false(默认),不上传jar包

jarUrls.addAll(commonPluginJars);jarUrls.addAll(immutablePair.getRight());actions.forEach(action -> {addCommonPluginJarsToAction(action, new HashSet<>(commonPluginJars), Collections.emptySet());});

收集所有的jar包,并且给每个action添加公共插件jar包。

结束:生成logicDag

getLogicalDagGenerator().generate()

生成一个logicDag,并返回。

后续

记第一次跟踪seatunnel的任务运行过程四——getJobConfigParser().parse()的动作

http://www.dtcms.com/wzjs/142390.html

相关文章:

  • 洛龙区网站制作建设费用怎么卸载windows优化大师
  • wordpress支持的视频优化大师win10能用吗
  • 商务平台网站建设合同搜索引擎
  • 顺通建设集团有限公司 网站独立站seo实操
  • 网站建设需要要多少钱seo搜索如何优化
  • 我的世界大橙子做皮肤的网站网络推广平台
  • 公司做网站费用记到哪个科目百度网站收录提交入口全攻略
  • 即墨做网站百度经验官网入口
  • 帮网站做推广赚钱吗竞价网络推广外包
  • 做海鲜代理在什么网站百度官方网站登录
  • 苏州专业做网站拼多多跨境电商平台
  • 长沙哪里做网站好深圳seo优化外包
  • 访问的网站显示建设中百度快照手机版
  • 深圳网站优化建设品牌建设
  • 广州白云区疫情最新数据seo关键词排名优化品牌
  • magento外贸网站开发网络营销的含义特点
  • 淘宝搜索排名做seo必须有网站吗
  • wordpress 多站点 主站点做网站推广的公司
  • 东西湖做网站搜索引擎优化的简称
  • 深圳个性化建网站公司凡科网免费建站
  • 网站开发外快最近发生的新闻大事
  • 沧州网站设计公司价格如何用手机创建网站
  • 做司法考试真题的网站北京官网seo收费
  • 陇西做网站的公司河北网站建设制作
  • 优化网站目录结构seo推广沧州公司电话
  • 哪家做网站的好真正永久免费网站建设
  • 西安疫情最新消息社会面seo外链发布平台
  • 做独立网站需要注意些什么北京百度快照推广公司
  • 网站建设与运营公司市场开方案有了域名如何建立网站
  • 网站 报价方案推广渠道有哪些方式