• 请不要在回答技术问题时复制粘贴 AI 生成的内容
qbmiller
0.48D
V2EX  ›  程序员

mysql to doris. flink-cdc 怎么重新启动时 续传,而不是从 0 开始

  •  
  •   qbmiller · Jan 13 · 1308 views
    This topic created in 153 days ago, the information mentioned may be changed or developed.
    bash bin/flink-cdc.sh mysql-to-doris.yaml


    flink 配置如下,最后生效的是 execution_checkpointing
    AlexRoot
        1
    AlexRoot  
       Jan 13
    从 checkpoint 中恢复,checkpoint 中有上次你消费的 kafka binlog offset, 或者是已经分好的 snapshot split.。
    qbmiller
        2
    qbmiller  
    OP
       Jan 13
    @AlexRoot 命令是什么样的。 ./bin/flink-cdc.sh mysql-to-doris.yaml -s file:///u01/flink/execution_checkpointing/<JobId>/chk-100 这样对吗,
    我只会这样./bin/flink-cdc.sh mysql-to-doris.yaml 提交任务,
    soap0X
        3
    soap0X  
       Jan 13
    问下 ai 一楼上面说的配置项,代码的话加行代码就可以了
    qbmiller
        4
    qbmiller  
    OP
       Jan 13
    @soap0X 非大数据开发人员。现在就是想用配置方式 ./bin/flink-cdc.sh mysql-to-doris.yaml 续传 跑起来。ai 各种都问了,不顶用。
    我试试上边那个 -s 参数吧。
    AlexRoot
        5
    AlexRoot  
       Jan 14   ❤️ 1
    @qbmiller #2 本质上是要让你的 flink 任务从 checkpoint 恢复,至于 flink-cdc.sh 这脚本支不支持从 checkpoint 恢复,要看脚本的内容。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3331 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 42ms · UTC 11:40 · PVG 19:40 · LAX 04:40 · JFK 07:40
    ♥ Do have faith in what you're doing.