使用 Python 删除 Windows 下的长路径文件

lsekfe

文章背景
　　近期，笔者所在公司的某业务系统的存储临近极限，服务器马上就要跑不动了，由于该业务系统A包含多个子系统A1、A2、A3 ... An，这些子系统的中间存储文件由于设计原因，都存储在同一个父级目录之内，唯一不同的是，不同子系统产生的文件和文件夹的名字都以该子系统名开始。如A1子系统产生的文件命名方式均为A1xxxxxx?, A2子系统产生的文件名均为A2xxxxx。现在要删除其中一些子系统的历史文件，以释放服务器空间，几十T的数据，存放在一起，手动删除肯定不显示，只能借助程序自动化实现了，使用什么呢？自然想到了python。其实单纯删文件这一个需求我认为不值得长篇阔论，但是其中遇到了一些特殊有趣的问题和一些有意思的解决方案，所以想与诸位分享一下，比如windows系统下的超长文件删除, 如从阅读官方英文文档寻找解决方案等等，下面进入正题。
　　使用 python 删除文件
　　使用python删除文件有很多方式，最直接也是最方便的方式就是调用内建函数：
　　·os.remove()  删除文件
　　· os.rmdir() 删除一个空文件夹
　　· shutil.rmtree() 删除一个文件夹及该文件夹下所有内容（包括子目录及文件）
　　也就是，此问题的的解决方案，核心就是围绕上述三个函数打交道。转到我们遇到的问题，业务系统A包含多个子系统A1、A2、A3 ... An，这些子系统的中间存储文件由于设计原因，都存储在同一个父级目录之内，唯一不同的是，不同子系统产生的文件和文件夹的名字都以该子系统名开始。如A1子系统产生的文件命名方式均为A1xxxxxx?, A2子系统产生的文件名均为A2xxxxx，现在的目的就是要在该删除指定子系统所产生的文件，保留其他子系统的文件。
　　将需求拆解下，实际上就是解决下列4个问题：
　　1.怎么删除一个文件？
　　2.怎样识别一个文件或文件夹是某个子系统产生的？
　　3.如何判断一个路径是文件还是目录？
　　4.如何定位所有指定的子系统产生的文件和文件夹？
　　对于问题1， 在本节开始就阐述过，使用 python 的内建函数进行删除即可:

1. os.remove("path") # 删除指定文件
   
2. 　　os.rmdir("path") # 删除一个空文件夹
   
3. 　　shutil.rmtree("path") #  删除一个文件夹及该文件夹下所有内容（包括子目录及文件）

复制代码

对于问题2，由于特定子系统产生的文件和文件夹的命名方式都是固定的模式，如A1子系统产生的文件名均为A1xxxxx，故可通过关键字匹配的方式进行识别。一种可能的方式为：

1. 　if keywords in filepath: # 如果文件名包含关键字keywords
   
2. 　　    os.remove(filepath) # 删除文件
   
3. 　　else:
   
4. 　　    pass

复制代码

对于问题3，由于删除目录和删除文件的方式不一致，故需要在删除前判断一个路径是目录还是文件，根据其类型选择合适的删除方式，这个在 python 中可以使用 **os.path.isdir()**之类的函数进行判断，主要是下列函数：

1. os.path.isdir("path") # 返回true则为目录，false则为文件
   
2. 　　os.path.isfile("path") # 返回true则为文件，false则为目录

复制代码

对于问题4，如何定位所有要删除的文件，这个问题实际上就是一个指定目录文件遍历的问题，即如何遍历一个指定目录的所有文件夹及文件。对于这个问题，一般有两种解决方案，一是深度优先遍历方式，一是广度优先遍历方式，两种方式在本例中效率是一致的，因为我们最终都要遍历所有的文件。另外，幸运的是，python实在是过于强大，其内建的函数已经帮助我们实现了一个广度优先目录遍历方法，及 os.walk("path") 方法，该方法就是遍历 path 目录下的所有文件及文件夹，一个典型的用法如下:

1. 　import os
   
2. 　　path = "C:\\A\\"
   
3. 　　for root, dirs, files in os.walk(path):
   
4. 　　    print(root)
   
5. 　　    print(dirs)
   
6. 　　    print(files)

复制代码

上例中，root 代表当前遍历到的路径，dirs 表示当前路径下所有的子目录， files 表示当前路径下的所有子文件。通过这种方式就能全部遍历指定目录了。
　　问题都分解开了，下面将问题组合一下就完成代码实现.
　　最终的代码实现为：

1. import os
   
2. 　　import shutil
   
3. 　　path = "C:\\A\\"
   
4. 　　keyword = "A1"
   
5. 　　for root, dirs, files in os.walk(path):
   
6. 　　    for dir in dirs:
   
7. 　　        if keyword in dir:
   
8. 　　            rmpath = os.path.join(root, dir)
   
9. 　　            print("删除文件夹: %s" % rmpath)
   
10. 　　            shutil.rmtree(rmpath)
    
11. 　　    for file in files:
    
12. 　　        if keyword in file:
    
13. 　　            rmpath = os.path.join(root, file)
    
14. 　　            print("删除文件: %s" % rmpath)
    
15. 　　            os.remove(rmpath)

复制代码

即通过广度优先方式(os.walk())遍历指定目录，逐个判断该目录下所有子目录和文件是否满足关键字条件，满足就删除。
　　运行效果为：

看似需求到此基本上就很好的解决了，但是实际测试中发现有的很深的目录却没有删除，删除该目录时报了一个错，错误描述如下：

1. Unexpected error: (< type 'exceptions.WindowsError'>, WindowsError(3, 'The system cannot find the path specified'), < traceback object at 0x0000000002714F88>)

复制代码

大致意思就是python找不到这个路径，可是为什么呢？为此，我继续进行一番资料查询，后来大致定位了是由于文件路径过长导致的，是由于windows系统用户态的默认路径长度不能超过256个字节导致的。但是官方说256个字节是最长，但为何能创建超过256的呢，所以既然能创建，那就一定能删除，但是需要一些方法，经过一番学习，找到了好几种方法，下面介绍其中一种最为实用的方法，另外几个比如使用压缩软件压缩后删除（百度知道的结果）适合手动但不适合编程解决。这个方法在下一节中继续讲述。
　　windows 文件系统关于长路径文件的相关定义
　　为解决windows下的长文件删除的问题，最为权威的资料莫过于windows官方的描述，我阅读了微软关于文件名长度的这一块的定义及说明，找到解决方案，微软的原文如下：

关键意思如下：
　　1.Windows API 提供的文件路径理论上最长是 32767 个字节，普通状态下给用户使用是不超过256个字符，说是为了使用户操作更加方便。这里不得不吐槽一下了，确实操作方便了，但是方便的同时也可能带来不便，明明定义了32767这么长的字节，只给用256，未免太抠搜了一点。
　　2.用户如果想要打破这个长度限制，可以通过一个特殊方式告诉windows系统自己想要使用超长文件，这个特殊的方式就是在绝对路径前加上** "\?" **字符串。
　　3.这篇文档后面还有描述在windows10以后如何通过注册表的方式接触文件名长度限制，这里就没有截图了，因为不通用，win7怎么办呢？有兴趣的同学可以查看其原文链接阅读：https://docs.microsoft.com/en-US ... limitation?tabs=cmd
　　好了，看到这，解决方法呼之欲出，其实简单得不能太简单，直接在绝对路径前加上一个"\?"即可：

1. # 获取目标路径的绝对路径，并在路径前加上\\?\，
   
2. 　　# 以解除windows的文件长度限制
   
3. 　　path = '\\\\?\\' + os.path.abspath(path)

复制代码

改造 python 程序，删除长路径文件
　　根据上一节，对python程序进一步进行改造，加入windows长文件名限制解除，最后的完美删除工具就成型了:

1. import os
   
2. 　　import shutil
   
3. 　　path = "C:\\A\\"
   
4. 　　keyword = "A1"
   
5. 　　# 获取目标路径的绝对路径，并在路径前加上\\?\，
   
6. 　　# 以解除windows的文件长度限制
   
7. 　　path = '\\\\?\\' + os.path.abspath(path)
   
8. 　　for root, dirs, files in os.walk(path):
   
9. 　　    for dir in dirs:
   
10. 　　        if keyword in dir:
    
11. 　　            rmpath = os.path.join(root, dir)
    
12. 　　            print("删除文件夹: %s" % rmpath)
    
13. 　　            shutil.rmtree(rmpath)
    
14. 　　    for file in files:
    
15. 　　        if keyword in file:
    
16. 　　            rmpath = os.path.join(root, file)
    
17. 　　            print("删除文件: %s" % rmpath)
    
18. 　　            os.remove(rmpath)

复制代码

虽然代码很短，只添加了一行，但是这一行，却完成了一个超级核心的任务，真可谓是灵魂一行啊，最后该工具中如在生产环境中发挥了其出色的作用，使服务器继续运转如飞了。
　　总结思考
　　啰嗦的话就不多说了，说几点思考 ：
　　1.遇到问题将问题进行分解，拆分成一个个小问题逐步击破 。
　　2.要善于阅读官方技术文档，有时候解决一个问题的核心可能很简单，代码可能也就一行两行，但是就是藏在某个角落，不仔细去阅读还真不一定找得出来 。
　　3.python是个好东西，要有将问题转化成使用python去解决的习惯，习惯成自然，python可能在工作中就发挥大作用了呢。