【问题标题】:how to process static data in AMAZON Kinesis?如何在 AMAZON Kinesis 中处理静态数据?
【发布时间】:2016-05-05 01:59:01
【问题描述】:

我们如何在 Amazon kinesis 中处理静态数据? 例如,我在 Excel 表中有数据,我想在 Kinesis 中处理它们。可能吗?如果是,那么如何实现呢?

【问题讨论】:

  • 欢迎来到 Stack Overflow!您能否提供有关您尝试实施的解决方案的更多信息? Amazon Kinesis 专为接收和存储流数据而设计。请让我们更多地了解您为什么希望将 Kinesis 用于“静态”数据。如果您能提供更多关于您想要达到的目标的信息,我们或许可以推荐更好的替代方案。
  • 谢谢约翰。该解决方案将用于消费实时流数据。但是,在某些情况下,我们需要使用离线 excel 文件,并且我们不想更改架构/工具/产品等。有什么方法可以使用 Kinesis 流或 Kinesis firehese 使用离线 excel??
  • 也许您的意思是询问事件处理而不一定是事件流。 AWS Lambda 是一个很好的事件触发器框架。例如,您可以在将新的 Excel 文件放入 S3 时触发 Lambda 函数,您的 Lambda 代码可以读取文件内容并处理这些记录(或经过一些转换后将它们放入 Kinesis Firehose)。

标签: amazon-web-services amazon-kinesis amazon-kinesis-firehose


【解决方案1】:

Amazon Kinesis 接收来自 Producers 的信息。当生产者向 Kinesis 流发送信息时,他们会指定流的名称、分区键以及要添加到流中的数据 blob。

您必须直接调用 Kinesis,或使用Kinesis Producer Library,这可以简化流程(例如批处理记录以减少调用次数)。

如果您希望将数据从 Excel 电子表格发送到 Kinesis 流,您需要编写一个生产者应用程序,该应用程序从电子表格中读取数据并将其发送到 Kinesis。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2017-08-20
    • 1970-01-01
    • 1970-01-01
    • 2021-03-21
    • 1970-01-01
    • 2016-06-15
    • 1970-01-01
    • 2018-07-27
    相关资源
    最近更新 更多