如何使用生成器遍历文件系统？

Question

我正在尝试创建一个实用程序类来遍历目录中的所有文件，包括子目录和子子目录中的文件。我尝试使用发电机，因为发电机很酷；但是，我遇到了障碍。

def grab_files(directory):
    for name in os.listdir(directory):
        full_path = os.path.join(directory, name)
        if os.path.isdir(full_path):
            yield grab_files(full_path)
        elif os.path.isfile(full_path):
            yield full_path
        else:
            print('Unidentified name %s. It could be a symbolic link' % full_path)

当生成器到达一个目录时，它只是简单地生成新生成器的内存位置；它没有给我目录的内容。

如何让生成器产生目录的内容而不是新的生成器？

如果已经有一个简单的库函数可以递归地列出目录结构中的所有文件，请告诉我。我不打算复制库函数。

Answer 1

既然可以使用os.walk，为什么还要重新发明轮子

import os
for root, dirs, files in os.walk(path):
    for name in files:
        print os.path.join(root, name)

os.walk 是一个生成器，它通过自上而下或自下而上遍历目录树来生成目录树中的文件名

Answer 2

我同意 os.walk 解决方案

出于纯粹的迂腐目的，尝试迭代生成器对象，而不是直接返回它：

def grab_files(directory):
    for name in os.listdir(directory):
        full_path = os.path.join(directory, name)
        if os.path.isdir(full_path):
            for entry in grab_files(full_path):
                yield entry
        elif os.path.isfile(full_path):
            yield full_path
        else:
            print('Unidentified name %s. It could be a symbolic link' % full_path)

Answer 3

从 Python 3.4 开始，您可以使用内置 pathlib 模块中的 glob() 方法：

import pathlib
p = pathlib.Path('.')
list(p.glob('**/*'))    # lists all files recursively

Answer 4

从 Python 3.4 开始，您可以使用 Pathlib 模块：

In [48]: def alliter(p):
   ....:     yield p
   ....:     for sub in p.iterdir():
   ....:         if sub.is_dir():
   ....:             yield from alliter(sub)
   ....:         else:
   ....:             yield sub
   ....:             

In [49]: g = alliter(pathlib.Path("."))                                                                                                                                                              

In [50]: [next(g) for _ in range(10)]
Out[50]: 
[PosixPath('.'),
 PosixPath('.pypirc'),
 PosixPath('.python_history'),
 PosixPath('lshw'),
 PosixPath('.gstreamer-0.10'),
 PosixPath('.gstreamer-0.10/registry.x86_64.bin'),
 PosixPath('.gconf'),
 PosixPath('.gconf/apps'),
 PosixPath('.gconf/apps/gnome-terminal'),
 PosixPath('.gconf/apps/gnome-terminal/%gconf.xml')]

这是sjthebats answer 的面向对象版本必不可少的。 注意Path.glob** 模式只返回目录！

Answer 5

os.scandir() 是一个“函数返回目录条目以及文件属性信息，在许多常见用例中提供更好的性能[比os.listdir()]。”它是一个不使用 os.listdir() 内部的迭代器。

Answer 6

您可以使用path.py。不幸的是，作者的网站不再存在，但您仍然可以从 PyPI 下载代码。该库是 os 模块中路径函数的包装器。

path.py 提供了一个 walkfiles() 方法，该方法返回一个生成器，该生成器对目录中的所有文件进行递归迭代：

>>> from path import path
>>> print path.walkfiles.__doc__
 D.walkfiles() -> iterator over files in D, recursively.

        The optional argument, pattern, limits the results to files
        with names that match the pattern.  For example,
        mydir.walkfiles('*.tmp') yields only files with the .tmp
        extension.

>>> p = path('/tmp')
>>> p.walkfiles()
<generator object walkfiles at 0x8ca75a4>
>>> 

Answer 7

gerrit 答案的附录。我想让一些东西更灵活。

列出pth中与给定pattern匹配的所有文件，如果only_file是False，也可以列出目录

from pathlib import Path

def walk(pth=Path('.'), pattern='*', only_file=True) :
    """ list all files in pth matching a given pattern, can also list dirs if only_file is False """
    if pth.match(pattern) and not (only_file and pth.is_dir()) :
        yield pth
    for sub in pth.iterdir():
        if sub.is_dir():
            yield from walk(sub, pattern, only_file)
        else:
            if sub.match(pattern) :
                yield sub