一对 N 指的是一张原始记录表 (raw_record_table) 需要同步数据到 N 张不同维度的业务数据表 (business_table_1, ...business_table_n) (同步为增量更新操作), 这些业务表都有一个相同的业务关连键 (比如 userId)
我现在想到了两个方案
方案 1: 多个线程根据 userId 取模 并发读取 raw_record_table, 每个线程读取的范围是确定的, 这样同步操作在单个线程里面不需要竞争
方案 2: 多个线程无限制并发读取 raw_record_table, 这样在接下来同步操作可能存在竞争, 需要加锁保证正确性
方案 1 的并发能力和取模数有关, 并且如果 userId 分布不均匀, 性能可能更差
方案 2 加锁可能开销大
请教下这两个场景应该怎么选择呢, 有没有更好的方案可以解决这个问题
 |
1
taoprogramer Jun 15, 2020
单线程读 mysql 写到 kakfa，通过 kafka 的多个分区来并发写你那个业务表
|
 |
2
yanshenxian OP @taoprogramer 没太明白，请问应该怎么设置分区规则和消费呢。。如果是直接按照 user_id 分区，这个应该和方案一是一样的吧
|
|
3
taoprogramer Jun 15, 2020
@yanshenxian 按主键分区就行了，可以做到比较均匀，你按 user_id 分片不能用户的不是不一样么
|
Select Language