当前位置： 首页 > wzjs >正文

网站建设目的意义外链互换平台

wzjs 2025/7/22 0:22:02
网站建设目的意义,外链互换平台,可商用的免费素材网站,阿里云服务器上如何做网站1 创建数据库和表 1.1 数据库脚本 这样直接创建数据库是有问题，因为后面发现superset连接使用doris://root:12345610.101.12.82:9030/internal.eayc?charsetutf8mb4 -- 创建数据库eayc create database if not exists ods_eayc; -- 创建数据表2 数据同步 2.1 f…

1 创建数据库和表

1.1 数据库脚本

这样直接创建数据库是有问题，因为后面发现superset连接使用doris://root:123456@10.101.12.82:9030/internal.eayc?charset=utf8mb4

-- 创建数据库eayc
create database if not exists ods_eayc;
-- 创建数据表

1

2 数据同步

2.1 flnk-cdc

参考Flink CDC实时同步MySQL到Doris
Flink CDC 概述

2.1.1 最简单的单表同步

从下面的yml脚本可以看到，并没有doris中创建eayc_user表，应该是flink-cdc自动创建的。

#Mysql的参数配置
source:type: mysqlhostname: 10.101.10.11port: 3306username: flinkpassword: 123456tables: eayc.eayc_userserver-id: 5400# server-time-zone: UTC
#Doris的参数配置
sink:type: dorisfenodes: 10.101.11.2:8030,10.101.11.2:8030,10.101.11.3:8030username: rootpassword: 123456table.create.properties.light_schema_change: truetable.create.properties.replication_num: 1route:- source-table: eayc.eayc_usersink-table: ods_eayc.eayc_user
pipeline:name: eayc to dorisparallelism: 1

注意连接mysql的server-id的要唯一，否则提示下面的错误

A slave with the same server_uuid/server_id as this slave has connected to the master...
The 'server-id' in the mysql cdc connector should be globally unique, but conflicts happen now.

进入到flink的界面查看到错误日志，任务执行失败。下面报的错是mysql时区与flink配置不匹配。现在改生产库影响未知，不敢动，于是去掉server-time-zone: UTC设置。重新执行任务。
1

1
此时任务可以正常执行了，数据也可以正常过来了。因为flink-cdc是根据binlog，因此mysql变更，doris中的数据也实时更新过来。
1

2.1.2 多表同步

如下配置

source:tables: eayc.eayc_user,eayc.eayc_company,eayc.eayc_company_user
route:- source-table: eayc.eayc_usersink-table: ods_eayc.eayc_user- source-table: eayc.eayc_companysink-table: ods_eayc.eayc_company- source-table: eayc.eayc_company_usersink-table: ods_eayc.eayc_company_user

下面这种方式不支持，会报下面的错误：

Caused by: org.apache.flink.shaded.jackson2.com.fasterxml.jackson.databind.exc.MismatchedInputException: Cannot deserialize value of type `java.lang.String` from Array value (token `JsonToken.START_ARRAY`)at [Source: UNKNOWN; byte offset: #UNKNOWN] (through reference chain: java.util.LinkedHashMap["tables"])

1

2.1.3 分表导入

taskmanager.numberOfTaskSlots默认为1，slot不够，就报下面的错误，因为是16C32G，于是我改成了8，parallelism.default默认也是1，我也改成了8，启动之后，没有报下面的错误，但是之前执行的任务没有了。

2025-02-19 15:05:07
java.util.concurrent.CompletionException: java.util.concurrent.CompletionException: org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Could not acquire the minimum required resources.at

如果mysql的表没有主键，则报下面的错误，这个时候就需要修正原mysql表数据。

Caused by: org.apache.flink.table.api.ValidationException: 'scan.incremental.snapshot.chunk.key-column' must be set when the table doesn't have primary keys.

doris权限问题，这个是FE集群有问题，更改过来就好了。

reason: SchemaChange request error with Failed to schemaChange, response: {"msg":"Unauthorized","code":401,"data":"Access denied for user 'root@10.101.12.90' (using password: YES)","count":0}

可以看到下面，要获取acc的全部表，但是有一些是做了分表，需合并到其中doris的一张表里面，这个规则是有效的，开始parallelism: 1，我以为有一异常，只同步了一张表，过了几分钟才发现其他表也陆续进来。

source:tables: acc.\.*
route:- source-table: acc.acc_account_balance_\.*sink-table: acc.acc_account_balance- source-table: acc.acc_account_subject_\.*sink-table: acc.acc_account_subject- source-table: acc.acc_initial_balance_\.*sink-table: acc.acc_initial_balance- source-table: acc.acc_voucher_\.*sink-table: acc.acc_voucher- source-table: acc.acc_voucher_entry_\.*sink-table: acc.acc_voucher_entry

于是将parallelism: 4,很快后台又抛异常。

java.util.concurrent.CompletionException: java.util.concurrent.CompletionException: org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Could not acquire the minimum required resources.

于是调整

taskmanager.memory.process.size: 8192m  # 增加 TaskManager 的内存

Flink CDC并行执行，会出现数据越界的问题。
Flink CDC报错ArrayIndexOutOfBoundsException解决思路

2.2 flink安装

2.2.1 单节点
tar -zxvf flink-1.18.0-bin-scala_2.12.tgz
# 配置环境变量
vi /etc/profile
export JAVA_HOME=/appdata/jdk1.8.0_181
export CLASSPATH=$JAVA_HOME/lib
export FLINK_HOME=/appdata/flink/flink-1.18.0
export PATH=$JAVA_HOME/bin:$FLINK_HOME/bin:$PATH
# 生效
source /etc/profile
# flink配置
vim conf/flink-conf.yaml
execution.checkpointing.interval: 3000
rest.bind-address: 0.0.0.0
cd bin
./start-cluster.sh
#
tar -zxvf flink-cdc-3.0.0-bin.tar.gz
# 执行任务
cd /appdata/flink/flink-cdc-3.0.0
bash bin/flink-cdc.sh /appdata/flink/job/eayc_to_doris.yml

flink-1.18.0
flink-cdc-3.0.0
mysql pipeline connector 3.0.0
doris pipeline connector 3.0.0
将上面两个connector放到cdc的lib目录
1

2.2.2 监控

1

1

http://www.dtcms.com/wzjs/43153.html

相关文章：

  • o2o分销系统网站建设今日头条新闻最新疫情
  • 网站建设客户分析seo官网
  • 怎样做网站服务器武汉百度信息流广告
  • 合肥做公司网站一般多少钱网络培训心得体会
  • 帮别人做网站赚多少钱汕头网站制作设计
  • 深圳工业设计展2022网站优化排名软件推广
  • 微信微网站开通在百度平台如何做营销
  • 网站备案加急平台推广公司
  • 个人网站备案建设方案书使用最佳搜索引擎优化工具
  • 高端网站建设谷美今日国际新闻最新消息
  • 武汉单位做网站深圳网络优化推广公司
  • 大连网站制作的公司seo企业建站系统
  • 创办免费企业网站关键词筛选工具
  • 网站图片左右滚动惠州seo外包公司
  • 网站为什么做版心限制软文300字介绍商品
  • 青岛即墨网站开发优化快速排名公司
  • 网站制作网站价格seo网站优化工具大全
  • 什么是网站名google搜索
  • 阿里云突发性能适用于做网站吗宁波网络推广公司有哪些
  • 网站建设时间规划竞价广告是什么意思
  • 专门做品牌折扣的网站青岛seo计费
  • 网站建设的技术指标河源今日头条新闻最新
  • 网站开发需要提供哪些资料快速建站哪个平台好
  • 清河网站制作网络营销的方式有几种
  • 改图网网站谁做的如何分步骤开展seo工作
  • 青岛做网站的大公司有站长工具网站备案查询
  • 广州软件制作公司谷歌seo技巧
  • 网上做外贸都有哪些网站百度搜索app免费下载
  • 广东网站建设包括什么软件上海网络推广招聘
  • 公司做网站 手机 电脑网站推广排名教程