订单数据实时汇总技术选型

查看 563|回复 40
ppppppp123
OP
  
这点数据 flink 过分了,汇总到 clickhouse 随便查
ppppppp123
OP
  
这点数据量,没必要建仓了,你甚至可以 canal + mysql
XyIsMy   
@zeonll cannal 和 mysql 我看了下耦合蛮紧的
@securityCoding 感觉你这个方案可以!直接用 clickhouse 作为 mysql 的备份库,然后利用 ck 来汇总查询
XyIsMy   
@securityCoding 上面 @OpenSea 说 ck 不适合实时的并发,这个是管理员端的数据看板,其实并发不太大。不知道 ck 可以近乎实时不?
MaxFang   
@ppppppp123
如果大表各种 join 实时查询,ck 会弱些。如果数据已经进行了预聚合,单表查询,ck 查询还是可以的。
至于并发,你可以预估下,并发多少,低于 100 且没有 大聚合查询,问题不大
数据延迟问题,这个避免不了,数据同步本来就存在延迟,而且需要看同步的策略。例如:内网环境,canal 1 秒同步一次,理论延迟会在 2 秒内。业务方接受 2 秒的延迟,那就没问题了
iwdmb   
@ppppppp123 如果不想折腾。直接用 mysql 也可以。把数据进行一层预处理就好。写个脚本,清洗统计数据,存到数据表内,直接查 统计表 数据即可
b1ghawk   
这个级别的数据量应该可以直接 mysql 查出来吧,近乎实时也可以做脚本每分钟汇总一次。
并且看目前要统计的需求,都是可以做到增量更新的吧。之前的数据归档存储+部分更新。
dashan333   
每天 10 万单用不到 Flink 吧 ...
100000/(12*60)=138
用业务时段去估每分钟也才 138 张单
yibo2018   
我想先 mark 一下
ppppppp123
OP
  
监控 MySQL binlog , 使用工具同步到 clickhouse 。这个数据量,不用预聚合,不用使用 ck 的 summing ,直接 merge ,筛选条件都可以自定义
您需要登录后才可以回帖 登录 | 立即注册

返回顶部