50 万笔新数据插入到数据库，如何避免重复？

[Devin]

1. 50 万笔新数据里可能有重复
2. 数据库原有记录 1000 万笔，新数据可能与原有记录重复

不插入(跳过)以上出现重复的新数据，怎么做最有效率？

[autogen]

50 万不多不少，1 分钟应该能导完

[janus77]

50 万本身先去个重。我个人的话，先取 10 个字段里的第一个过滤遍，第二个再过滤一遍，然后剩下的 8 个字段做 hash 过滤一遍。这样做的原因是前两遍可以以最小的成本达到最大比例的过滤效果。当然这个前 n 遍可以根据你们字段复杂度来定。这整个步骤在临时表做
然后就是 50 万里面剩下的数据，再用 10 个字段做 hash，和主表过滤。完毕

[nuistzhou]

这数据不多，加个约束很简单，就像楼上说的，不过可能会花点时间。我之前整类似的上亿条的才叫慢...

[wangbenjun5]

建个索引就能解决的问题，如果追求性能，那就加个布隆过滤器呗

[zjttfs]

十个字段拼接算出 md5 , 然后 md5 也存进去,md5 字段加唯一索引.

[hubahuba]

@zjttfs 这是啥操作老哥 求解释

[optional]

@zjttfs 50w 冲突概率挺大的