【问题标题】:How to detect deleted file?如何检测已删除的文件?
【发布时间】:2018-11-07 18:28:28
【问题描述】:

写入不存在的文件不会在 Go 中产生错误。

例如,下面是一个循环写入文件的示例程序:

package main

import (
    "log"
    "os"
    "time"
)

func main() {

    f, err := os.OpenFile("mytest.log", os.O_APPEND|os.O_CREATE|os.O_WRONLY, 0644)
    if err != nil {
        log.Fatal(err)
    }

    for {

        n, err := f.WriteString("blah\n")
        if err != nil {
            log.Fatal(err)
        }
        log.Printf("wrote %d bytes\n", n)
        time.Sleep(2 * time.Second)
    }
}

当它运行时,我从命令行发出rm mytest.log 并观察到程序在下一次调用WriteString() 时不会产生错误。 (我在Linux上测试过,其他操作系统可能不同)

有没有办法检测文件是否被删除(除了在每次写入之前对文件进行统计)?并且大概写入的字节被操作系统简单地丢弃了?

【问题讨论】:

  • 字节不会被丢弃。您可以倒退到文件的开头并将其读回。创建文件然后立即取消链接是处理临时文件的常见模式。
  • 这是因为您使用 os.Openfile() 打开一个端口并写入该特定端口,在写入操作期间不再执行错误检查。因此,在写入操作期间您不会收到文件未找到错误。
  • 在大多数 Unix 文件系统上,删除文件只会删除 inode 条目,使底层文件保持完整,直到它被关闭。这是一个功能,在某些情况下可以发挥很大的优势,但是 TL;DR;是:您所描述的情况是故意的。
  • 也许您应该解释为什么您关心文件是否被删除,以便我们提出适当的对策。只要您不关闭()文件,所有 *os.File 方法都应该 JustWork(tm)。仅当您开始按名称引用文件时才会遇到问题,但每次这样做时,您都必须处理(甚至!)错误。

标签: go


【解决方案1】:

在运行时,我从命令行发出 rm mytest.log 并观察到程序在下次调用 WriteString() 时不会产生错误

是的,这正是指定的行为。该文件也没有被删除。 rm 唯一删除的是文件系统中的特定路径条目。单个文件可以有多个路径,也称为硬链接

只有在最后一次通过文件系统条目(链接)或文件描述符(在程序中打开的文件)对它的最后引用已关闭时,才会删除实际文件。

长期以来,Unix 文件模型的这种特殊行为被用于实现“未命名”共享内存,方法是在 /dev/shm 中创建和打开一个文件,然后删除文件系统条目——因为这种特殊的处理方式引入了竞争条件,对于安全敏感的应用程序引入了新的系统调用,允许创建匿名内存映射,最近 Linux 甚至获得了在文件系统中创建文件的功能,而无需创建路径条目(openO_TMPFILE 标志)。

在较新版本的 Linux 上,您甚至可以使用 linkat 系统调用为已删除最后一个条目的文件重新/创建文件系统条目。

更新

问题是,如果最后一个文件系统条目消失了,你真的想出错吗?毕竟这不是一个糟糕的条件,您可以安全地写入和读取,没有问题,请注意,一旦您关闭文件的最后一个文件描述符,它将丢失。

完全有可能检测最后一个文件系统条目是否已被删除,如果是,则中止文件操作 - 但是请注意,这样的代码可能会引入它自己的问题,例如,如果程序希望创建一个新的文件系统条目,一旦所有内容都已正确写入文件,使用 linkat。

无论如何,你可以做的是fstat-ing 文件(在 Go 中为file.Stat)并查看文件的硬链接数量。如果该数字降至零,则所有文件系统条目都将消失。实际上,在 Go 中获得这个数字有点棘手,这里有描述 Counting hard links to a file in Go

package main

import (
    "fmt"
    "log"
    "os"
    "syscall"
    "time"
)

func main() {
    fmt.Println("Test Operation")
    f, err := os.OpenFile("test.txt", os.O_CREATE|os.O_APPEND|os.O_WRONLY, 0644)
    if err != nil {
        log.Fatal(err)
    }

    for {

        n, err := f.WriteString("blah\n")
        if err != nil {
            log.Fatal(err)
        }
        log.Printf("wrote %d bytes\n", n)
        time.Sleep(2 * time.Second)
        stat, err := f.Stat()
        if err != nil{
            log.Fatal(err)
        }
        if sys := stat.Sys(); sys != nil {
            if stat, ok := sys.(*syscall.Stat_t); ok {
                nlink := uint64(stat.Nlink)
                if 0 == nlink {
                    log.Printf("All filesystem entries to original file removed, exiting")
                    break
                }
            }
        }
    }
}

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2023-04-11
    • 2012-09-16
    • 1970-01-01
    • 2011-10-17
    • 1970-01-01
    • 2014-06-07
    • 2011-11-17
    相关资源
    最近更新 更多