实时更新 os.walk 文件列表 [python]

Question

我有一个函数，我想枚举目标文件夹中的所有文件和文件夹。当/如果它找到 rar 文件，我希望它提取它们然后删除它们。在多部分存档的情况下，它还将检查并删除剩余的文件（已与第一卷一起提取）。

我在 for 循环中使用 os.listdir，但这种方法的问题是： a）我认为它不会在不为它们编写递归循环的情况下处理子文件夹（我不想这样做，因为递归伤害了我的头）。 b) 因为 for 循环仅在开始时创建项目的字典（？），所以当它循环到已在先前迭代中删除的文件名时，我将无法找到该文件。

似乎 os.walk 对于上面的“a)”可能更好，我迄今为止的研究表明，我应该能够在每次迭代时实时更新 os.walk。但是我不知道该怎么做。

我有这样的东西：

for root, dirs, files in os.walk('d:\\test'):
    for file in files:
        print 'files (before remove): ', file, files
        # This is where I would do some operation that deletes one or more files.
        files.remove(file)
        print 'files (after remove): ', file, files

但是输出是这样的：

D:\test>d:\Python27\python.exe d:\file.py
files (before remove):  Crystal.part01.rar ['Crystal.part01.rar', 'Crystal.part02.rar', 'Crystal.part03.rar', 'Crystal.part04.rar', 'Crystal.part05.rar', 'Crystal.part06.rar']
files (after remove):  Crystal.part01.rar ['Crystal.part02.rar', 'Crystal.part03.rar', 'Crystal.part04.rar', 'Crystal.part05.rar', 'Crystal.part06.rar']
files (before remove):  Crystal.part03.rar ['Crystal.part02.rar', 'Crystal.part03.rar', 'Crystal.part04.rar', 'Crystal.part05.rar', 'Crystal.part06.rar']
files (after remove):  Crystal.part03.rar ['Crystal.part02.rar', 'Crystal.part04.rar', 'Crystal.part05.rar', 'Crystal.part06.rar']
files (before remove):  Crystal.part05.rar ['Crystal.part02.rar', 'Crystal.part04.rar', 'Crystal.part05.rar', 'Crystal.part06.rar']
files (after remove):  Crystal.part05.rar ['Crystal.part02.rar', 'Crystal.part04.rar', 'Crystal.part06.rar']

我认为这是有道理的...我们可以看到列表正在更新，但是因为我已经卡在（第二个）For 语句中，该语句创建了一个文件列表，它继续尝试循环遍历原始列表现在偏移一的顺序，产生“跳过”效果。

除了让调用循环知道跳过已删除的项目外，如何实现对目录中每个文件的操作？

更新 - 我假设可以做到这一点可能是不正确的。给我这个想法的原因是从 python 文档中截取的：

当topdown为True时，调用者可以就地修改目录名列表 （可能使用del 或切片赋值），而walk() 只会递归 进入名称保留在 dirnames 中的子目录；这可以是 用于修剪搜索，强加特定的访问顺序，甚至 通知walk() 调用者创建或重命名的目录 在它再次恢复 walk() 之前。自顶向下时修改目录名 False 对 walk 的行为没有影响，因为在自下而上 模式 dirnames 中的目录在 dirpath 本身之前生成 已生成。

再次阅读时，我发现它只提到了目录名而不是文件名 - 所以虽然我仍然不明白实现这一点的确切方法，但看起来你可能只能在适当的位置操作目录名。

Answer 1

for root, dirs, files in os.walk('d:\\test'):
    for file in files:
        #process stuff

files 是您正在迭代的列表 - you should not modify it，正如您所发现的。当您process stuff 时，如果您在 for 循环迭代中删除了一个尚未到达的文件，那么您可以做三件事（我能想到的）

1. 在处理之前检查文件是否存在

   if fname not in os.listdir(os.getcwd()):
       continue
   

2. 使用 try/except 来捕获 IOError。如果您想进一步限制异常处理，您可以在 except 套件中查询“没有这样的文件或目录：'yourfilehere'”的错误文本，如果有不同则重新引发异常。

   fname = 'foo.bar'
   try:
       with open(fname) as f:
           pass
   except IOError as e:
       #print(e, str(e), repr(e))
       if 'No such file' in str(e):
           pass
   else:
       raise
   

3. 我想您可以保留一个单独的列表/集，其中包含您的进程已删除的所有文件，并在尝试处理之前检查文件是否在其中。

---

如果你真的需要，你可以编写一个具有你需要的行为的类。

#Python 2.7 code
import collections
class F(collections.deque):
    def __iter__(self):
        return self
    def next(self):
        try:
            return self.pop()
        except IndexError:
            raise StopIteration

a = [1,2,3,4]
f = F(a)
for n in f:
    print n
    if n == 3:
        f.remove(2)

结果

>>> 
4
3
1
>>>