x2ve
V2EX  ›  问与答

问一个增量数据同步的问题。

  •  
  •   x2ve · Nov 15, 2020 via iPhone · 1113 views
    This topic created in 2086 days ago, the information mentioned may be changed or developed.
    表 t_a 有 a,b,c,a_gxsj 四个字段,表 t_b 有 a,b,d,b_gxsj 四个字段,这两个表都是业务表。

    然后要把 t_a 和 t_b 关联后的数据同步到表 t_c 中来,t_c 包含了两个表的所有字段。

    现在有个问题是,t_a 更新了,但 t_b 未更新,t_b 更新了 t_a 未更新,也可能两者都同时更新了。

    那么用 etl 工具怎么操作保证 t_c 数据跟业务库保持一致?
    我目前的方法是单独同步 t_a 和 t_b,然后 t_c 是两者合并后的视图,但是要求是表,没头绪了😂
    1 replies    2020-11-16 09:24:35 +08:00
    mikicomo
        1
    mikicomo  
       Nov 16, 2020 via Android
    我们之前是用 binlog 日志做的,性能也算是不错
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   963 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 22:51 · PVG 06:51 · LAX 15:51 · JFK 18:51
    ♥ Do have faith in what you're doing.