十行python代码实现文件去重，去除重复文件的脚本

1.导入依赖

1. '''导入依赖'''
3. from pathlib import Path
5. import filecmp

复制代码

2.函数说明

1. filecmp.cmp(path1, path2, shallow=True)

复制代码

path1/path2：待比较的两个文件路径。
shallow ：默认为True，即只比较os.stat()获取的元数据(创建时间，大小等信息)是否相同，
设置为False的话，在对比文件的时候还要比较文件内容。
3.提取待去重文件路径

1. # 初始化文件路径列表
2. path_files_list = []
4. # 遍历
5. for path in Path(r'/usr/load/data').iterdir():
7.     # 校验是否为文件
8.     if path.is_file():
9.         # 加入到待去重文件列表
10.         path_files_list.append(path)
11. #学习中遇到问题没人解答？小编创建了一个Python学习交流群：711312441
12. # 遍历待去重文件
13. for file_index in range(len(path_files_list) - 1):
15.     # 遍历，两辆比对
16.     for later in range(file_index + 1, len(path_files_list)):
18.         # 校验内容是否相同
19.         if filecmp.cmp(path_files_list[file_index],
20. path_files_list[later], shallow=False):
22.             # 内容相同、则删除
23.             path_files_list[file_index].unlink()
24.             break

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！