一个程序开发问题请教各位 V 友大佬,每秒 10 万条数据需要存储,怎样选择技术方案

查看 204|回复 27
morota
OP
  
@saintatgod 感谢大佬,算了一下带宽至少需要 10M ,对吗?
rockxsj   
@morota #7 kafka 是顺序写入硬盘的,不需要内存很大,硬盘大写就行了
tool2dx   
搜了一下,一般正规一点的 E5 服务器( 24 核心+24G 内存),mysql 每秒能支持到 117 万的请求。
当然他测试客户端没那么多,你是物联网,tcp 来源比较碎片化,性能可能要打折。
感觉优先走分布式,一个机房宽带顶不住啊。
tool2dx   
@morota “感谢大佬,算了一下带宽至少需要 10M ,对吗?”
肯定不是按照字节来算。你要根据终端数量的 tcp ip 封包切割来算。哪怕只是 20 字节,频繁握手对于带宽的压力也不小。
vkillwucy   
kafka + flink + starrocks 大数据套件搞起来
bthulu   
搞不懂和大数据有什么关系,这种物联网硬件数据明显用时序数据库啊
standchan   
那就是每秒 50 万个 int, 共 2MB. 就是每秒 2MB, 直接写文件, 一条一行. 这样是个设备就能满足要求.
几十块收个几年前的斐讯盒子, 刷机, 把自己的程序放上去就行了.
songyoucai   
clickhouse ,不要求实时的话,都放在消息队列里面慢慢消费
Curtion   
做过物联网的来回答一下。 首先你的边缘网关,就需要处理这些数据。并不是所有的数据都需要入库的,比如传感器每 5s 上报一次。有一些频率甚至更低。 想想你物联网网关,如果是走的 5g 来上报数据,流量卡吃得消吗
假设你已经是边缘网关清洗过的数据,现在设备几万台,,每秒就是有 10 万条数据. .这时候需要用到时序数据库,消息队列是给物联网后续的指令去消费的。
重点: 边缘网关做数据清洗和心跳,定期上报异常数据和转发指令。这样如果是平常的数据,可以每十分钟发送一次数据包到服务器。异常数据(超过指定阈值。比如温度过高,报警信息)和指令回复可立即上报。
时序数据库存储 来做数据存储,消息队列来消费数据。 进行告警时段统计等信息。
ggabc   
时序数据库直接存问题也不大吧
您需要登录后才可以回帖 登录 | 立即注册

返回顶部