【问题标题】:AWS Timestream: Unable to ingest records into AWS TimestreamAWS Timestream:无法将记录摄取到 AWS Timestream
【发布时间】:2021-01-20 08:55:39
【问题描述】:

众所周知,AWS Timestream 在上周正式发布。

从那时起,我一直在尝试使用它并了解它如何建模和存储数据。

我在将记录提取到 Timestream 时遇到问题。 我有一些日期为 2020 年 4 月 23 日的记录。在尝试将这些记录插入时间流表时,我收到 RecordRejected 错误。 根据this链接,如果一条记录具有相同的维度、时间戳或时间戳超出表的内存存储的保留期,则该记录将被拒​​绝。

我已将我的表的内存存储的保留期设置为 12 个月。根据文件:任何时间戳超过 12 个月的记录都将被拒绝。 但是,尽管时间戳在从现在起 12 个月内,但上述记录仍被拒绝。

在进一步调查时,我注意到,今天日期(2020 年 10 月 5 日)的记录被成功提取,但是,日期在 30 天之前的记录,即 2020 年 9 月 5 日没有被提取。为了确保这一点,我有还尝试插入日期为 9 月 6 日的记录,以及在今天和 9 月 5 日之间的几天。所有这些都已成功插入。

有人可以解释为什么我无法在内存存储的保留期内插入具有时间戳的记录吗?它只允许我插入最多 30 天的记录。 我还想知道是否有一种方法可以将历史数据直接插入磁性存储中。对于我的用例,内存存储保留期可能不够,我可能需要插入 2 年或更长时间的数据。我知道这不是时间流的经典用例,但我仍然很想知道。

我被困在这个问题上,非常感谢一些帮助。

提前谢谢你。

【问题讨论】:

    标签: amazon-web-services data-ingestion amazon-timestream


    【解决方案1】:

    我遇到了一个非常相似的问题,对我来说,我必须将 Memory Store Retention Period 设置为 8766 小时 - 比一年多一点。我不知道为什么会这样,为什么会这样,但它对我导入旧数据很有用。

    PS:我很确定这是时间流中的错误 PPS:我通过使用 aws 控制台中设置的“默认”找到了该值。没有其他价值对我有用。

    【讨论】:

    • 有没有办法标记这个错误?我也在一个论坛上发过帖子,但是aws论坛上没有专门的时间流频道。我将尝试使用小时指标并使用您的值,将检查是否有效。尽管如此,行为应该是一致的,无论您是在几个月还是几个小时内指定它。
    • TTL 是指记忆存储保留还是磁性存储保留?
    • 内存存储保留期。
    • 有人知道在 php 中使用 timestream 吗? stackoverflow.com/questions/65027337/…
    • @AyushSrivastava 抱歉,没有在 php 中尝试过。适用于 PHP 的 AWS 开发工具包应该对此有所帮助。
    【解决方案2】:

    仅当时间戳在其保留期的时间跨度内时,Timestream 才会将数据加载到内存存储中。因此,如果保留期为 1 天,则时间戳不能超过 1 天前。

    AWS TimeStream: Records that are older than one day are rejected

    【讨论】:

      猜你喜欢
      • 2021-06-04
      • 2021-07-14
      • 2021-06-23
      • 1970-01-01
      • 1970-01-01
      • 2022-08-03
      • 1970-01-01
      • 2021-02-22
      • 2021-06-04
      相关资源
      最近更新 更多