等待文件的脚本在 while 循环中使用 100% CPU

Question

我有一个脚本在等待循环中使用 100% 的单个内核。该脚本应处理出现在预设目录中的文件。因此，它会等到文件出现，然后处理它们。大致是这样的：

slept = 0
while True:
    if len(glob.glob(src_diretory+suffix)) > 0:
        slept=0
        # cast black magic spells on files ending in suffix, located in src_directory
    else:
        print("Slept "+str(slept)+" times.."
        slept+=1
        sleep.sleep(1)

在这种情况下，相当频繁的len(glob.glob(src_diretory+suffix)) 是否会导致如此高的 CPU 使用率？

Answer 1

解决此类问题的第一个工具是profiler，它会详细告诉您时间花在了哪里。

您不需要测试长度是否大于零；如果列表有条目，则为真，否则为假。此外，您可能应该在阅读时使用您的条目。然而，这些只是表面上的变化，所以我最好的猜测是 glob 本身需要很长时间；可能有很多文件与同一目录中的模式不匹配？

我会建议一个稍微不同的结构：

while True:
    filenames = glob.glob(src_diretory+suffix)
    for filename in filenames:
        pass  # Process file here, including moving it away
    if not filenames:
        time.sleep(1)

理想情况下，您将使用操作系统端监视器来进行更改，例如 inotify、kqueue、FSEvents 或 ReadDirectoryChanges，而不是轮询。您可能想尝试执行此特定等待的程序，例如 incron 和 entr。

Answer 2

根据操作系统(*)，您可以找到允许程序警告在目录中创建新文件而无需执行主动循环的低级函数。不幸的是，它是不可移植的，并且可能无法直接从 Python 中获得。

如果你正在构建一个高性能系统，你可以看看这个，否则，你应该使用一个简单的假脱机算法：

• 只要在目录中找到文件：处理它们
• 只要您没有文件 - 在迭代之前休眠一段时间（常用值在 0.1 到 2 秒之间）

(*) 至少存在于 Windows 和最近的 Linux 内核中

Answer 3

while 循环会尽量占用 mutch cpu，比较一下：

while True:
    pass

while True:
    time.sleep(0.001)