从文本文件解析日期/时间时，如何考虑夏令时？答案

【问题标题】：How do I account for Daylight Savings Time when parsing date/time from a text file?从文本文件解析日期/时间时，如何考虑夏令时？
【发布时间】：2016-02-13 02:54:46
【问题描述】：

我已经编写了一个 python 脚本来将原始文本解析为可用数据，但是最近的 DST 时间变化已经把事情搞砸了。这是一些文本，特别是导致问题的部分：

11/1/2015   1:00:37 AM  3.14    0.00    4.18  
11/1/2015   1:30:37 AM  3.14    0.00    4.18  
11/1/2015   1:00:39 AM  3.14    0.00    4.18  
11/1/2015   1:30:39 AM  3.14    0.00    4.18  
11/1/2015   2:00:40 AM  3.14    0.00    4.18

文本文件会定期更新并同步到保管箱。在脚本的第一次运行时，它会使用与文件的每一行对应的文档填充 mongodb 集合。每个文档都包含一个日期时间（为了在 mongo shell 中的可读性）、一个时间戳以及与文件中的数据相对应的其他字段。

填充集合后，每 15 秒运行一次循环，将文件中的行数与集合中的文档数进行比较。如果文件包含更多行，则脚本然后读取文件中的最低行并将其解析为可以添加到数据库的文档。它将这个潜在的新文档的时间戳与集合中最新文档的时间戳进行比较

if(newdataDate > latestDate):
    db.LiqLog.insert(newdata)
elif(newdataDate < latestDate):
    #Throw error, end script

我怎样才能让我的脚本帐户因 DST 而更改日志文件？我能想到的唯一方法是对未来的 DST 时间更改进行硬编码并解决这些问题。该脚本可能会在我们的实验室服务器上连续运行多年，并且由于我无法知道它需要运行多长时间，因此最好它能够处理 DST 而无需硬编码日期。

编辑：我发现online DST 总是从三月的第二个星期日开始，到十一月的第二个星期日结束。我将尝试处理这个问题，一旦我取得进展，我会再次编辑这篇文章。到目前为止，感谢大家的帮助。

【问题讨论】：

要小心，因为DST rules changed in 2007 将来可能会再次更改。

标签： python mongodb unix-timestamp dst

【解决方案1】：

最好的办法是将所有日期和时间存储为 UTC，也就是 GMT，并将它们与其他 UTC 时间进行比较。如果您使用本地时间，您还应该存储一个时间偏移或标志来说明是否发生了日光切换，因为某些本地时间是不明确的，例如早上 1 点 30 分，秋天的时钟倒转，但它变得相当混乱。

GMT 时间处理示例：

import time, calendar
seconds = int(time.time())
print(seconds)
gmtstruct = time.gmtime(seconds)
timeformat = "%Y-%m-%d %H:%M:%S"
timestr = time.strftime(timeformat, gmtstruct)
print(timestr + " +0000")
readstruct = time.strptime(timestr, timeformat)
readseconds = calendar.timegm(readstruct)
print(readseconds)

输出：

1447279828
2015-11-11 22:10:28 +0000
1447279828

我是在当地时间下午 5:10（美国东部标准时间）运行的，因此 GMT 时间被格式化为 22:10。我添加了“+0000”来表示该文件的未来用户的时区是 GMT。

【讨论】：

类似于：当循环发现日志文件有新行时，检查 UTC 和 EST 时间之间的时差，然后据此调整它存储的日期？ .localize 之类的东西会解决这个问题吗？
它应该比这更简单，只需使用内置函数并始终在内部保持 UTC 时间，并始终将其作为 UTC 存储在您的文件中。我在答案中添加了一个示例，它格式化要保存在文件中的时间，然后再次解析它，最终得到相同的时间值。如果需要，您可以转换为本地时间以显示用户，但在您的代码中仅使用 UTC 时间。
感谢您的意见。您是在建议我更改日志文件的写入方式，对吗？该文件由氦液化器软件更新，我无法更改它写入文件的方式。很抱歉造成混乱。
不幸的是，氦液化器软件开发人员很烂；）您可以使用例如Pytz 模块将文件中的本地时间转换为 GMT，但即使该模块也无法正确处理每年一小时的模棱两可。如果时间戳是按顺序排列的，您可以使用该信息计算出时间戳为 01:30 之后的 01:00 的正确夏令时状态，但每年正确获取 1 小时是相当麻烦的。
同意。实际上，我必须做很多奇怪的事情才能正确解析文件，比如列出当前行中所有制表符、冒号和斜杠的位置，然后在某些对这些东西之间制作字符串.这是开始使用 Python 的好方法，但我认为其他使用像这样的液化器的实验室更愿意使用一种更有用的方式来存储数据。

【解决方案2】：

这很棘手，因为您存储的不是日期时间对象，而是平面文本。您必须以某种方式将时区数据存储在平面文件中。如果没有这个，我没有任何其他可以想象的方式来解释 DST。

即便如此，在某些极端情况下，您仍无法确定哪条记录先于另一条记录。例如：

11/1/2015   1:30:39 AM  3.14    0.00    4.18
11/1/2015   1:59:59 AM  3.14    0.00    4.18

假设我们在凌晨 2 点（即凌晨 1:59:59 -> 凌晨 1:00:00）增加了一个小时，据我所知，无法知道哪个记录先出现。 Pytz 非常适合处理时区数据，无论对您有价值。

【讨论】：

如果时间戳是按顺序写入文件的，那么第二个条目必须在第一个条目之后，但是没有办法知道它们是相隔半小时还是相隔 90 分钟，除非下一个条目又是 01:30，在这种情况下，您知道它们相隔 30 分钟。都很乱。
感谢您的意见。我最初使用 pytz，但我无法让它按照我想要的方式工作，所以我改用了 timeStamps。我用一个可能的解决方案编辑了原始帖子，我将再次编辑更新。
@Galax - 是的，这是一个很好的方法，但当然，这取决于文件中是否有乱序的数据（在模糊期间转换之前和之后写入的数据） .在此示例中，有，但在一般情况下，可能仅在转换的一侧存在活动 - 在这种情况下，您无法判断它在哪一侧。 :)
您的问题“应该将凌晨 1:59 编写的条目放在凌晨 1:30 编写的条目之前还是之后？”没有意义，因为您说您不能修改写入日志条目的设备-您如何决定它应该以哪个顺序写入它们？
如果您自己将日期打印到文件中，请先将它们转换为 UTC，正如我最初提到的那样，从那时起一切都会好起来的。

【解决方案3】：

一个更简单的答案是将您的脚本更改为：

if(newdataDate > latestDate):
    db.LiqLog.insert(newdata)
elif(newdataDate < latestDate):
    print("Warning: DST switch detected")
    db.LiqLog.insert(newdata)

是否存在其他可能导致文件中的新日期早于最后日期的错误情况？

您为什么需要检查日期？如果文件中写入了额外的行，是否总是有新数据要插入？

【讨论】：