kafka 性能问题: kafka 传递海量小数据的时候,需要合并数据发送吗

查看 132|回复 8
作者:sniperking1234   
对 kafka 不了解,求助下 v 友。
场景是有很多小数据需要通过 kafka 发送,每条数据的量不到 1kb ,但是高峰期数量很多,这种情况下,小数据会不会影响 kafka 性能,需要把数据合并成数组,批量发送吗。kafka 在哪种情况下性能会好一些呢。

Kafka, 数据, 发送, 合并

bthulu   
不需要, kafka 永远值得你相信
sampdoria   
不用
关于 Kafka 的 IO ,可以看一下这篇 https://juejin.cn/post/7068090666969989151
sighforever   
我记得 kafka 的客户端本来就会合并发送
BBCCBB   
没有提供批量的 api, 但通过 linger.ms 和 batchSize 配置, kafka client 默认就是批量的..
sniperking1234
OP
  
@bthulu @sampdoria 多谢,我去看下相关资料
sniperking1234
OP
  
@sighforever 对,是有相关的参数,但是不清楚内部处理小数据会不会影响性能
lessMonologue   
不需要,client 会自己处理成 bantch 发送
fxbing   
只要别指定顺序 key 就行,默认按 key 分配分区,如果不同消息不同 key 就会导致攒不了 batch
您需要登录后才可以回帖 登录 | 立即注册

返回顶部