虚心求教,数据量上亿的爬虫数据用什么该用什么数据库呢

查看 384|回复 40
KongLiu   
考虑一下分库分表?
morost
OP
  
@KongLiu 产品设计导致只能放在一张表里,哎
morost
OP
  
@pota 谢谢回答,我去调研一下
morost
OP
  
@me1onsoda 谢谢回答, 我去调研一下这个 db
morost
OP
  
@tikazyq 我自己这边找的方案现在是在 mongodb 和 PostgreSQL 之间比较,那我先去看看 mongo
keyfunc   
分布式数据库
morost
OP
  
@keyfunc 老哥细说一下呢
gazi   
@morost 这个场景不太适合,Clickhouse 和 StarRocks 。另外上亿数据量对于 mysql 还不算大数据。 我感觉也是先优化索引比较好。ES 也比较合适,可以等数据量再大的时候换 ES 。
morost
OP
  
@gazi #17 谢谢解答,我这就去优化一下索引相关
BeijingBaby   
才亿级别,直接 clickhouse 吧,百亿都没问题。
您需要登录后才可以回帖 登录 | 立即注册

返回顶部