Yoo趣儿 › 探索分享 › 问与答 › 超大型文件比较，内存不足，只能分页读区再匹配，但头都 ...

超大型文件比较，内存不足，只能分页读区再匹配，但头都秃了，也没想到优化的方式，朋友们帮帮忙啊。

查看 448|回复 23

OP

2024-2-15 18:18:07

可以把 name 分组，比如先把两个文件中所有 a 开头的行读入内存比较，然后再比较 b 、c 。分组粒度大小按照内存大小来。

matrix1010 2024-2-15 18:18:41

@geelaw
谢谢您，这个方法是行得通的。目前不想外部排序，实在走不通，再走这条路。

laike9m 2024-2-15 18:19:23

用不了数据库但你可以参考数据库的做法： https://dev.mysql.com/blog-archive/hash-join-in-mysql-8/

ipwx 2024-2-15 18:19:55

@FeifeiJin 没看出为什么不能

1 23 / 3 页

AD1

热门主题

热门板块

问与答分享发现分享创造奇思妙想分享邀请码商业推广优惠信息 Python PHP Java JavaScript Node.js Go语言 C++HTML

公告

返回顶部