50 万笔新数据插入到数据库，如何避免重复？

[Devin]

1. 50 万笔新数据里可能有重复
2. 数据库原有记录 1000 万笔，新数据可能与原有记录重复

不插入(跳过)以上出现重复的新数据，怎么做最有效率？

[optional]

加约束
进临时表
insert on conflict

[levelworm]

先全部导入到临时表，然后 merge 的时候去掉重复的，我是 Vertica 。

[dreasky]

加 unique 索引，insert ignore ,性能就不知道了

[jorneyr]

insert ignore，开启事务，每次 5000 笔提交，几分钟就跑完了

[byte10]

随便 搞下就行了。500W 都不是问题

[taozywu]

1 ）使用 sqlyog，navcat 很 easy 的
2 ）或者在数据表结构增加 unique 索引
3 ）。。。

[egoistttt]

replace into

[LuciferGo]

oracle 的话目标表加个唯一索引，sqlldr 后，重复数据会进入到 bad 文件，也可以用无唯一性中间表导入后去重加载到结果表，MySQL 是 insert 后加个 ignore，就可以了

[AmosAlbert]

先进 Redis

[qiayue]

总共只有 50 万笔需要插入，还是每隔一段时间都会产生 50 万笔？
两种情况有两种完全不同的处理方式。
如果是后者，间隔时间是多久？每秒还是每分钟还是每小时？
场景不介绍清楚，没办法给出最合适的解决方案。

[Devin]

@qiayue 每天产生，表格有接近 50 个字段，只能根据 10 个字段判断出记录的唯一性

[SlipStupig]

@Devin 将这十个字段生成一个 SHA256 的 hash，作为索引，很容易判断的啊

[qiayue]

是的，按顺序拼接十个字段，记住中间要加入分隔符，然后算下 md5 值当做唯一键

[kaiki]

加个索引呗

[hejw19970413]

先分类 、多加个字段 。 归并排序的思想

[xmge]

replaceinto

[lithbitren]

拼接哈希在内存里操作就得了，1000 万也没多少的，处理完数据再用唯一索引结构

[xcstream]

布隆过滤器

[wellsc]

@xcstream 五十万就上布隆了，是不是八股文看多了

[autogen]

加 union index，直接 insert 就会跳过重复的数据