【问题标题】:Performance when accessing file system metadata concurrently同时访问文件系统元数据时的性能
【发布时间】:2012-01-03 07:52:42
【问题描述】:

我必须收集文件的某些属性(修改日期等)。但是要分析的小文件很多。

我的问题是:如果我同时读取 3 个或 4 个文件,性能会更好吗?如果您访问网络上的文件,这会更好,因为您必须等待服务器响应。但是硬盘呢?如果文件已经被硬盘缓存,并发策略会更快吗?

【问题讨论】:

  • 您只是从文件系统(stat 或等效的)读取元数据还是从文件本身读取数据?
  • 只是元数据(文件大小、创建日期...)
  • 那你绝对可以并行化它。您的许多“计算”会将结构解压缩到您的语言/存储结构中。

标签: performance file concurrency hard-drive


【解决方案1】:

您正在访问元数据,看起来 (mtime),这些元数据存储在文件的 inode 中,因此存储在文件系统中。您的限制因素应该(在 UNIX 术语中)是获取 stat 信息的系统调用,这可以从并行化中受益。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-05-20
    • 1970-01-01
    • 2012-11-17
    • 2022-01-12
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多