【发布时间】：2018-01-15 05:24:17
【问题描述】：
我在 s3 中有 csv 文件，我想转换一些列并将结果放在另一个 s3 存储桶中，有时在同一个存储桶中但具有不同的文件夹。我可以使用 Kiba 实现它吗？我可能.. 在转换和其他东西之前我需要先将 csv 数据存储在数据库中吗？
【问题讨论】：
标签： kiba-etl
【发布时间】：2018-01-15 05:24:17
【问题描述】：
感谢您使用 Kiba！今天没有这样的实现示例可用。我将来会提供供应商支持的 S3 组件作为 Kiba Pro 的一部分。
也就是说，您的想法肯定是可能的（我已经为一些客户做过这个）——而且绝对没有必要先将 CSV 数据存储在数据库中。
您需要做的是实现 Kiba S3 source 和 destination，这将为您完成。
我建议您查看AWS Ruby SDK，尤其是S3 Examples。
以下链接将特别有用：
- https://docs.aws.amazon.com/sdk-for-ruby/v3/developer-guide/s3-example-get-bucket-items.html 列出存储桶项目
- https://docs.aws.amazon.com/sdk-for-ruby/v3/developer-guide/s3-example-get-bucket-item.html 在处理文件之前将文件下载到本地
- https://docs.aws.amazon.com/sdk-for-ruby/v3/developer-guide/s3-example-upload-bucket-item.html 将文件上传回 S3
希望这会有所帮助！
【讨论】：
-
很高兴它有帮助！您能否将答案标记为有效？谢谢！