对约 35g 的数据去重

[fields]

数据占了 35g 左右存储,有标识每条数据的 id,还剩大约 7g 空闲空间,需要对这 35g 的数据去重,内存是 8g 的.如何对数据进行去重?

[alalida]

你先想一想目标时间复杂度和空间复杂度。去重意味要查找，那最好也就对数时间复杂度。此外要看能否分批处理，数据有无规律。可以分批处理也会快很多。总之要先看数据长什么样。

[otakustay]

数据是 35G，其中 id 部分有多大？不大的话哈希应该是有办法建起来的……

[shuangyeying]

是裤子么？

[opengps]

去重字段仅仅是 id 字段？还是全字段匹配？

[malusama]

bloomfilter 有误差率

[fields]

@opengps 每个 id 字段标识这条数据

[fields]

@shuangyeying 不是的,亲

[fields]

@alalida 在用分片,时间换空间,但很慢,每次 10w 条

[fields]

@malusama 有空间限制的

[fields]

@alalida 经过分析,每条数据里边的 id 唯一标识这条数据

[wysnylc]

把 id 提出来，还能有 35g ？

[ho121]

对每条数据 hash 后存到哈希表或者二叉树中。
hash 算法也不需要碰撞率很低的那种，比如 crc32，crc64 这种简单的就行，这样可以加快 hash 速度，并减少内存使用。当碰到 hash 相同的，需要做完全匹配来判断数据是否真的是相等。
哈希表或者二叉树每个节点要存下每个 hash 对应的 id （可能有多个）。

数据用流式读取，或者扔进数据库中。


手机码字，有点乱

[grimpil]

还以为是 35 克数据

[fields]

@grimpil 哈哈哈哈哈哈

[keepeye]

遍历所有数据，id 字段走布隆过滤器去重 用不了多少内存

[mxT52CRuqR6o5]

Bitmap

[binux]

如果数据>>id，拿 id 出来随便爱怎么搞怎么搞
如果数据就是 id，每 7g 分片排序再 merge 排序。

[zengguibo]

如果只是文本数据，压缩一下传到性能强内存大的机器上，直接导入内存去重

[Tlvncks]

引用；@grimpil #13 还以为是 35 克数据

-------------------------------------------------------
我也看了半天，还在想 35g 啥玩意？难道想提纯？？

[Rekkles]

数据 hash 然后对比去重？
有个笨一点的办法，数据导入 db 做唯一索引 一条一条导入，导入失败的就是重复的，牺牲时间换空间。