分治： 1 、用空间换时间（计算） 2 、用时间（计算）换空间 针对（ 1 ）有 spark 集群很快的，如果预算有限那么方法（ 2 ）： 1 、把数据分成 N 块，并针对 N 块内进行去重 2 、从 n 块中取一块，和剩下的 n-1 块去重，取这一块建立 hash or map 都可以，n-1 按照顺序读取 3 、从剩下的 n-1 块中又进行步骤（ 2 ）， 直到 n=0 4 、经过上述思路处理的 csv 就包含重复
上面有人提到的 Bloom Filter 应该是相对最优的解法了，实现简单，占用内存低，速度也快。唯一的问题就是要选择合适的长度，将错误率降低，这需要一定的算法知识，不过现在可以问 AI 了，让 AI 给出公式
