如果对 2K 万条记录的某个字段查重？

[oldbird]

库中有 N 张表，记录数总共 2000 万条，每张表都有一个 BSM 字段，想查找库里该字段是否有重复值，打印该重复值及所在的表名和 ID 号。

环境：python2.7，32bit 。

现在的做法是：在外部定义 defaultdict(list)类型的字典，遍历所有表格的记录，每条记录的 BSM 值为 key，表名+id 值为该 key 对应的 value （列表）中的项；最后再遍历字典，查找 value 中项数大于 1 的输出。

运行后一段时间报 内存错误，请问有什么方法吗？

[Vegetable]

https://github.com/search?l=Python&q=bloom&type=Repositories
布隆过滤器（英语：Bloom Filter ）是 1970 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。

[felix021]

2000 万不是大什么数据，学一点 c 吧同学。

[jun0205]

2000W 不算多，把 N 张表的 BSM 、表名，ID 放在一个视图里面，然后 SQL Group by 应该会好点

[laminux29]

不是学 C，而是要学数据结构与算法。

内存不够的情况下，用外排序就行了。

[ackoly]

SQL 处理不是更简单吗？

[ackoly]

-- 如果 BSM 字段长度低于 32，不用做 md5，直接使用 BSM 字段就好
-- 1. 创建汇总表
create table data_total as
select 1 as flag,id,BSM,md5(BSM) as md5_value from table_a union all
select 2 as flag,id,BSM,md5(BSM) as md5_value from table_b union all
select 3 as flag,id,BSM,md5(BSM) as md5_value from table_c union all
select 4 as flag,id,BSM,md5(BSM) as md5_value from table_d union all
select 5 as flag,id,BSM,md5(BSM) as md5_value from table_e
;

-- 2. 查出哪些值有重复
create table value_mult as
select
md5_value
,count(1) as cnt
from data_total t1
group by md5_value
having count(1) > 1
;

-- 3. 为 data_total 表创建索引
CREATE INDEX ix_md5_value ON data_total(md5_value);

-- 4. 查询出结果
select t1.*
from data_total t1
inner join value_mult t2
on t1.md5_value=t2.md5_value
;

[nuistzhou]

不是，这玩意不是几行 SQL 就能解决的吗？为啥还要搞复杂用 python 处理呢？ group by 然后 count 啥的不就 OK 了嘛？

[wiix]

如果是传统关系数据库，真就两条 sql 的事。

[anaf]

6 楼直接给了答案 看着没毛病 我还要想一下是不是这么写 说明我水平不够 6L 好 [逃]

[RedisMasterNode]

1 楼正解，BloomFilter 处理超大数据量天然优势

[qbmiller]

布隆过滤 ，判断重复是有误判的。2000 万 数据库 sql 就可以了。太看不起 mysql 了。如果是阿里云 rds，那更完美

[qwertyegg]

两千万小 case 了，每个记录算一个 hash 即可

[xcstream]

32bit 换成 64bit 不知道行不行，不用改代码