一个程序开发问题请教各位 V 友大佬,每秒 10 万条数据需要存储,怎样选择技术方案

查看 171|回复 27
作者:morota   
物联网传感器发送的数据,走 tcp 或者 mqtt ,每秒大概有 10 万条,每条数据大概 20 个字节大小(5 个 int 值)
现在的问题是:服务端如何保存这些数据。
1, 用什么数据库,如何高频插入
2, 服务器选什么样的配置,来配合数据插入。CPU ,内存,硬盘需要多大。
请各位大佬不吝指教
asmoker   
ck
kenneth104   
非程序员
加缓冲层,1 层不够再来 1 层
FanError   
先扔到消息队列里,再慢慢消费。

rockxsj   
1 、日志服务器收到之后先落地本地文件
2 、fluentbit watch 本地文件然后发送到 kafka
3 、写个程序从 kafka 消费写入到最终数据库 starrocks
hxzhouh1   
好像有个国产消息队列 TDengine , 专门应对这种物联网场景的
morota
OP
  
@FanError 消息队列的话,内存是不是需要配置很大的内存,否则会爆?
morota
OP
  
@rockxsj 消息队列的话,内存是不是需要配置很大的内存,否则会爆?
saintatgod   
1. 使用时序数据库或者 nosql ,或者 pgsql 这样的数据库,使用队列异步去消费这些数据,插入时候可以批量插入,最好在插入前对数据库进行好分区,然后按照分区读写。
2. 服务器的话需要 16 核的 CPU , 内存按照 32-64 来搞,硬盘的话,你这个量级如果没有估算错,至少 1T ,另外就是带宽搞大一点。
基本上就这样。
E520   
@morota 这也要看你的消费处理速度,消费的快,那堆积内存就不大, 你可以算一下 1 秒 10 万条数据,占多少内存,去计算就行了
您需要登录后才可以回帖 登录 | 立即注册

返回顶部