对约 35g 的数据去重

[fields]

数据占了 35g 左右存储,有标识每条数据的 id,还剩大约 7g 空闲空间,需要对这 35g 的数据去重,内存是 8g 的.如何对数据进行去重?

[coolcfan]

跟 13 楼一样，看到是小写第一反应是 35 克数据……

[suotm]

取 3.5G 做好去重的脚本，然后开一个 64GB 内存的云主机跑

[lululau]

35g? 用什么称的？

[hhhsuan]

大小写很重要啊

[netnr]

直接执行开窗函数按 id 分组排序取大于 1 的项并删除，难道顶不住？

[ofblyt]

最近做饭做的，看到 35g 还想 35 克去重（ zhong ）是给什么去皮吗

[yufeng0681]

根据 id 第一位进行文件分拣（切割到），假设有 26 个字母，10 个数字； 估计每个文件 1G 左右，那样问题就变成了 1G 文件的处理

[gfreezy]

shell 里面 sort | uniq 就可以。内存不够的时候 sort 会自动交换到磁盘上。

https://unix.stackexchange.com/questions/383056/sort-huge-list-130gb-in-linux

[fields]

@lululau 电子秤吧

[fields]

@ofblyt 姜吧

[fields]

@gfreezy 存储有限的,都在数据库里

[fields]

@yufeng0681 id 是纯数字,剩余的空间只有 7 个 G

[gfreezy]

@fields 建个新表加上 unique key，重新 load 一下就可以

[fuye]

create table tmp(id bigint，unique key id （ id ）)
insert into tmp select id from 你的表