Debezium connector 订阅 MongoDB change stream 做流处理的延迟问题

查看 10|回复 0
作者:yellowmarlboro   
使用 debezium 配置的 mongoDB connector ,监控一个集合的 change stream ,但是总有一少部分的数据从变更发生时间debezium 开始处理(通过 debezium 的payload的ts_ms判断)有相当长的延迟,最大到了 40s 。
debezium 为 docker 部署。mongoDB 为分片集群,connector 配置的是 mongos 的地址。订阅的集合约每秒发生 1000 调变更,但也有数十秒没有新数据的情况。
看起来似乎可能是两个原因:
  • 1.mongo 的 change stream 生成就慢
  • 2.debezium 处理跟不上速度,但通过调整 max.batch.size/max.queue.size/pool.interval 后依然有这个问题

    目前看起来,即使期间数据量很小,也会发生这种情况。
  • 您需要登录后才可以回帖 登录 | 立即注册

    返回顶部