虚心求教,数据量上亿的爬虫数据用什么该用什么数据库呢

查看 378|回复 40
opsaid   
clickhouse 好用高效
defunct9   
mongo
1018ji   
hbase ?
cathub86   
ck
nicholasxuu   
hbase(支持大数据的 mysql 替代)
clickhouse(便宜高性能的 es 替代)
kemistep   
clickhouse, 爬虫为什么要更新数据,全部存起来,用 sql 过滤数据,上百亿都么有问题
justplaymore   
表结构、索引、查询语句先提供出来,要看你的需求场景是否是 mysql 擅长的,任何数据库都有自己擅长的领域,如果实在是需求和数据不匹配的话,才需要去考虑换数据库,换数据库还会有数据迁移的问题,上亿数据的迁移方案你有考虑过吗?
cbythe434   
什么查询场景? mysql 做文本召回? kv 查询直接 kv 存储不就行了
yh7gdiaYW   
强推 starrocks ,组里落地效果非常好
GeekGao   
只要不较劲,mongodb 就够了
您需要登录后才可以回帖 登录 | 立即注册

返回顶部