虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢 ...

Jinnrry 2024-5-15 15:19:40

换 starrocks
1.兼容 mysql 协议，代码完全不用改
2.才亿级数据，对 sr 来说就是毛毛雨，都不够热身
缺点
成本高很多

lasuar 2024-5-15 15:20:30

海量数据（上亿）的查询问题，用 clickhouse 、tidb 、aliyun 的 adb ，来自 [实际经验] 。

vivisidea 2024-5-15 15:21:18

tidb ？

esee 2024-5-15 15:22:18

亿级就慢了吗?我用的阿里云的 rds mysql 的 1H1G 的入门款，有个表三四亿的数据量感觉也没啥影响。。不过我没啥联表的操作

iroha239 2024-5-15 15:23:02

clickhouse 吧

roundgis 2024-5-15 15:23:53

@esee 爬蟲數據庫理論上也不會有 join

LeegoYih 2024-5-15 15:24:23

ClickHouse

xieren58 2024-5-15 15:25:13

postgresql , 上亿够用...

june4 2024-5-15 15:25:52

才亿级，我的 mysql 单表几亿，一点都不慢。做好索引是关键。

mayli 2024-5-15 15:26:41

无脑 es 吧，数据量大了水平扩展起来也方便。
或者 Cassandra 这种。

虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢

浏览过的版块

热门主题

女子称贷款100多万中介收31万

我怀疑自己老年痴呆了，一个小失误造成微信

做抖音视频也避免不了被抄

昨天一天9万多蜘蛛，收录突增，这正常么

躺着玩手机对视力不好吗？每天这样至少五小

怎么样把视频中的图片给提取出来！

真狠，随便发个视频，几分钟播放量破万

你们改网站代码最怕碰到什么类型的错误，我

xiunobbs真不错，YYDS

有房贷的能买股票吗？

热门板块

公告

网站帮助 - Yoo趣儿

我们的愿景

在 Yoo趣儿投放广告

Yoo趣儿网站用户应遵守规则