文件去重

以下代码由PHP站长网 52php.cn收集自互联网

现在PHP站长网小编把它分享给大家，仅供参考

__author__ = 'lixin'
import os
from shutil import *
from hashlib import md5
import datetime
import time
import random

targetPath='H:temppic'
srcPath=['H:image','H:kp']
dstPath='H:tempdstPic'
filekey={}
year={}

def md5_file(name):
    m=md5()
    a_file=open(name,'rb')
    m.update(a_file.read())
    a_file.close()
    return m.hexdigest()
def dofile(arg,dir,names):
    for name in names:
        subname=os.path.join(dir,name)
        if os.path.isdir(subname):
            continue
        if not os.path.exists(subname):
            continue
        key=md5_file(subname)
        if not filekey.has_key(key):
            filekey[key]=subname
            print 'file ok:',subname
            continue
        if os.path.exists(os.path.join(dstPath,name)):
            name=''.join(name.split('.')[:-1])+str(random.randint(1,100))+'.'+name.split('.')[-1]
        copy2(subname,os.path.join(dstPath,name))
        os.remove(subname)
        print 'remove',subname

for path in srcPath:
    os.path.walk(path,dofile,'')

以上内容由PHP站长网【52php.cn】收集整理供大家参考研究

如果以上内容对您有帮助，欢迎收藏、点赞、推荐、分享。

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!