Python中的（本地）缓存文件对象

Question

我经常处理需要通过网络访问的大型数据文件（主要通过 NFS，但有时也通过 CIFS）。出于性能原因，最好将这些文件缓存在本地硬盘上以最大程度地减少网络使用。

所以基本上我正在寻找一个自动处理本地缓存的文件对象，类似于以下内容：

import CachedFileObject as cfo
cfo.set_local_cache_dir("/tmp")
handle = cfo.open("/nfs/server1/bigdatafile.nc", "r") # copy file to /tmp, open the copy
# do stuff with the filehandle
del handle                                            # delete the local copy

我真的只需要这个来阅读文件。如果应该有一种简单的方法来获取/实现文件创建（甚至写入），那将是一个奖励。

非常感谢任何想法

Answer 1

我会使用操作系统来缓存文件。 NFS 挂载可以使用 -o fsc 设置为缓存，并且 SMB 挂载默认情况下已经启用了一些缓存。

Answer 2

有一个简单的解决方案（打开完整副本以进行读取访问，关闭完整副本以进行写入访问）：

import os
import shutil

from tempfile import mkstemp

class CachedFileObject(object):

    def __init__(self, cache_dir="/tmp"):
        self.cache_dir = cache_dir
        self.local_file = None
        self.local_path = None
        self.remote_path = None
        self.mode = None

    def open(self, path, mode="r", buffering=-1):
        if self.local_file and not self.local_file.closed:
            raise ValueError("Already open")
        fd, self.local_path = mkstemp(dir=self.cache_dir)
        os.close(fd)
        try:
            if "r" in mode and not os.path.exists(path):
                raise ValueError("No such remote file")
            if os.path.exists(path):
                # have remote file
                self._cache_remote(path, self.local_path)
            self.local_file = open(self.local_path, mode=mode, buffering=buffering)
            self.mode = mode
            self.remote_path = path
        except Exception as e:
            os.unlink(self.local_path)
            raise

        return self

    def close(self):
        self.local_file.close()
        try:
            if set("wa+").intersection(set(self.mode)):
                # have writes, sync file back to remote side
                self._sync_remote(self.remote_path, self.local_path)
        finally:
            os.unlink(self.local_path)

    def _cache_remote(self, remote_path, local_path):
        # simple cp
        shutil.copy(remote_path, local_path)

    def _sync_remote(self, remote_path, local_path):
        shutil.copy(local_path, remote_path)

    def __getattr__(self, attr):
        if self.local_file is not None:
            return getattr(self.local_file, attr)
        else:
            raise ValueError("File is not opened")

创建的对象将作为常规文件运行，并在打开/关闭时复制/同步。

用法：

f = CachedFileObject(cache_dir="/your/tmp/dir")
f.open("/path/to/remote/file")
# ..your f.read()'s here..
f.close()