【发布时间】:2019-04-14 21:04:17
【问题描述】:
我正在从一组文件(日志文件)中读取行,因为它们是使用 pyinotify 编写的。
我正在使用 python 本地方法打开和读取文件:
file = open(self.file_path, 'r')
# ... later
line = file.readline()
这通常是稳定的,可以处理被删除和重新创建的文件。 pyinotify 会通知取消链接和后续链接。
但是一些日志文件没有被删除。相反,它们被截断并将新内容写入同一文件的开头。
我无法可靠地检测到何时发生这种情况,因为 pyinotify 只会报告一次写入。我目前得到的唯一证据是 pyinotify 报告写入,readline() 返回一个空字符串。但是,两个后续写入可能会触发相同的行为。
我曾考虑将文件大小与file.tell() 进行比较,但根据文档tell 会产生一个不透明的数字,而且似乎不能相信这是多个字节。
是否有一种简单的方法可以检测文件在读取时被截断?
编辑:
可以使用简单的 shell 命令模拟截断文件:
echo hello > test.log
echo hello >> test.log
# Truncate test.log
echo goodbye > test.log
为了补充这一点,可以使用一个简单的 python 脚本来确认file.tell() 在文件被截断时不会减少:
foo = open('./test.log', 'r')
line = foo.readline()
while line != '':
print(foo.tell())
print(line)
line = foo.readline()
# Put a breakpoint on the following line and
# truncate the file before it executes
print(foo.tell())
【问题讨论】:
-
我认为你可以相信这样一个事实,如果
tell()返回的数字比你上次调用它时的数字要小,而且你还没有自己寻找,那么就发生了一些奇怪的事情。如果您可以自信地推断出“奇怪的事情”是文件截断,那么我认为您会很好。 - 这整个想法有点吓到我了。我会竭尽全力不必从其他进程可能会执行任何操作但附加到的文件中读取。 -
@Steve 没有。至少在 linux 上
tell()在文件被截断时不会移动。在上下文中,这是日志监控。整个想法是从另一个进程正在写入的文件中读取。 -
好的。我只是在评论我认为我在您的声明中读到的内容……如果要给您一个较小的数字,您可能无法解释
tell()告诉您的内容(哈!)。如果它不会,它不会。正如我所说,我不会有任何经验来编写代码来处理在我阅读文件时可能会删除其内容的文件。祝你好运! -
如果文件的每次修改都代表一个版本控制,您的通知程序将代表它运行时的最新版本。您似乎正在尝试考虑运行之间的版本和之后的版本控制。那会准确吗? “一种简单的方法”有点主观。但是,不,我认为没有一种“简单的方法”可以通过查看该文件的内容或归属信息来说明针对该文件发生的操作次数。另外,我认为这不一定是完整性问题,而是时间点和差异概念
-
识别出截断后你想做什么?你只是想模仿
tail -f的做法吗?
标签: python linux inotify file-monitoring