os.walk() 缓存/加速

Question

我有一个原型服务器[0]，它为客户端[0] 进行的每个查询执行os.walk()[1]。

我目前正在研究以下方法：

• 在内存中缓存这些数据，
• 加快查询速度，并
• 希望以后能够扩展到存储元数据和数据持久性。

我发现 SQL complicated 用于树结构，所以我想在实际使用 SQLite 之前我会得到一些建议

是否有任何可以处理此类数据的跨平台、可嵌入或可捆绑的非 SQL 数据库？

• 我的列表很小（10k-100k 个文件）。
• 我的连接数非常少（可能是 10-20）。
• 我还希望能够扩展以处理元数据。

[0] 服务器和客户端实际上是同一个软件，这是一个 P2P 应用程序，旨在在没有主服务器的情况下通过本地可信网络共享文件，使用zeroconf 进行发现，并扭曲用于几乎所有其他东西

[1] 查询时间为 1.2 秒，os.walk() 在 10,000 个文件上

这是我的 Python 代码中执行行走的相关函数：

def populate(self, string):
    for name, sharedir in self.sharedirs.items():
        for root, dirs, files, in os.walk(sharedir):
            for dir in dirs:
                if fnmatch.fnmatch(dir, string):
                    yield os.path.join(name, *os.path.join(root, dir)[len(sharedir):].split("/"))
            for file in files:
                if fnmatch.fnmatch(file, string): 
                    yield os.path.join(name, *os.path.join(root, ile)[len(sharedir):].split("/"))

Answer 1

你不需要持久化一个树形结构——事实上，你的代码正忙着拆目录树的自然树形结构成线性序列，那你为什么要重启下次从树上？

看起来你需要的只是一个有序的序列：

i   X    result of os.path.join for X

其中X，一个字符串，命名一个文件或目录（你对待它们只是一样的），i是一个递增的整数（以保持顺序），结果列，也是一个字符串，是结果os.path.join(name, *os.path.join(root, &c.

当然，这很容易放入 SQL 表中！

要第一次创建表，只需从填充函数中删除守卫if fnmatch.fnmatch（和string 参数），在 os.path.join 结果之前生成目录或文件，然后使用@987654325 @ 保存调用的enumerate（或者，使用自增列，您的选择）。要使用该表，populate 本质上变为：

select result from thetable where X LIKE '%foo%' order by i

其中string 是foo。

Answer 2

一开始我误解了这个问题，但我认为我现在有一个解决方案（并且与我的其他答案完全不同，需要一个新的答案）。基本上，您第一次在目录上运行 walk 时执行正常查询，但您存储产生的值。第二次，您只需生成那些存储的值。我已经封装了 os.walk() 调用，因为它很短，但是您可以轻松地将生成器封装为一个整体。

cache = {}
def os_walk_cache( dir ):
   if dir in cache:
      for x in cache[ dir ]:
         yield x
   else:
      cache[ dir ]    = []
      for x in os.walk( dir ):
         cache[ dir ].append( x )
         yield x
   raise StopIteration()

我不确定您的内存要求，但您可能需要考虑定期清理 cache。

Answer 3

你看过MongoDB吗？ mod_python 呢？ mod_python 应该允许您执行 os.walk() 并将数据存储在 Python 数据结构中，因为脚本在连接之间是持久的。