写了个删除重复文件的脚本

[ucun]

收了很多二次元图片，难免会有重复的。 写了个小脚本删除重复的。

#! /bin/env python
# -*- coding:utf-8 -*-

import sqlite3
import hashlib
import os
import sys

def md5sum(file):
    md5_hash = hashlib.md5()
    with open(file,"rb") as f:
        for byte_block in iter(lambda:f.read(65536),b""):
            md5_hash.update(byte_block)
    return md5_hash.hexdigest()

def create_hash_table():
    if os.path.isfile('filehash.db'):
        os.unlink('filehash.db')
    conn = sqlite3.connect('filehash.db')
    c = conn.cursor()
    c.execute('''CREATE TABLE FILEHASH
            (ID INTEGER PRIMARY KEY AUTOINCREMENT,
            FILE TEXT NOT NULL,
            HASH TEXT NOT NULL);''')
    conn.commit()
    c.close()
    conn.close()

def insert_hash_table(file):
    conn = sqlite3.connect('filehash.db')
    c = conn.cursor()
    md5 = md5sum(file)
    c.execute("INSERT INTO FILEHASH (FILE,HASH) VALUES (?,?);",(file,md5))
    conn.commit()
    c.close()
    conn.close()

def scan_files(dir_path):
    for root,dirs,files in os.walk(dir_path):
        print('create hash table for {} files ...'.format(root))
        for file in files:
            filename = os.path.join(root,file)
            insert_hash_table(filename)

def del_repeat_file(dir_path):
    conn = sqlite3.connect('filehash.db')
    c = conn.cursor()
    for root,dirs,files in os.walk(dir_path):
        print('scan repeat files {} ...'.format(root))
        for file in files:
            filename = os.path.join(root,file)
            md5 = md5sum(filename)
            c.execute('select * from FILEHASH where HASH=?;',(md5,))
            total = c.fetchall()
            removed = 0
            if len(total) >= 2:
                os.unlink(filename)
                removed += 1
                print('{} removed'.format(filename))
                c.execute('delete from FILEHASH where HASH=? and FILE=?;',(md5,filename))
                conn.commit()

    conn.close()
    print('removed total {} files.'.format(removed))



def main():
    dir_path = sys.argv[-1]
    create_hash_table()
    scan_files(dir_path)
    del_repeat_file(dir_path)

if __name__ == '__main__':
    main()

[AX5N]

我觉得没必要一上来就对比 md5，可以先对比字节数，字节数相同的再对比 md5

[AX5N]

而且如果你收的是二次元的图片的话，那你应该要知道有的图片还分老版和新版的，有可能新版会加了细节，也有可能新版的分辨率会被故意降低。甚至如果你图源不一样的话，md5、分辨率都有可能不一样。比如同一作者在 p 站发的和在 twitter 上发的就有可能不一样。

[swulling]

简单问题复杂解，没必要用 sqlite 吧，直接把 hash -> file 关系 存在 Dict 中就完了

另外用 shell 只需要一行

[slime7]

先把重复的列出来再提示删除哪个不是更好

[cdlixucd]

@swulling 求教一行 shell

[scriptB0y]

@cdlixucd 你这个 python rmrepeatfile.py 就是一行 shell

[scriptB0y]

开玩笑哈哈，可以用这个： https://github.com/adrianlopezroche/fdupes

[wsds]

@scriptB0y 楼上是失散的兄弟吗，哈哈

[Sanko]

https://github.com/ghosx/git/blob/master/photo_del_same.py

[fyxtc]

@wsds 你是赛亚人状态的，哈哈

[ucun]

@AX5N 也不只用来删除图片， 你说的区分同一张照片不同尺寸和分辨率那就是另一个问题了。机器学习应该可以搞定。

[ucun]

@swulling dict 是可以搞定。 文件多了内存就有点麻烦。

[ucun]

@scriptB0y 这个就相当完善了

[ucun]

@slime7 可以先把重复的文件统一移动到一个目录并记录日志。

[ucun]

@AX5N 我觉得没必要一上来就对比 md5，可以先对比字节数，字节数相同的再对比 md5
=============================
还是直接对比 MD5 保险一点。

[May725]

👍，我需要你的二次元图片试一下😁

[yuanshuai1995]

分享一波图库？

[rrfeng]

反正都要强行全部算 md5 了……
md5sum * | awk '{if(a[$2])print $1;a[$2]=1}' |xargs rm

[swulling]

@cdlixucd 简单思路，算 md5，然后用 awk 算出重复的，最后去重

你直接 google 下 shell remove duplicate files

[likuku]

@swulling 你低估了文件数目…量太大了 Dict 太巨，内存会爆的吧