将 stackdriver 日志作为 csv 文件导出到 Google Cloud Storage

Question

我正在运行部署到 Google App Engine 的 Node.js 应用程序。 除了“Stackdriver Logging Winston 插件”[@google-cloud/logging-winston]，我还使用了 winston 库。

[Link to the tutorial for setting up winston logging]

[Link to the tutorial for exporting logs into Google Storage Bucket]

我通过创建接收器将堆栈驱动程序日志导出到 Google 存储桶。目前，所有日志都作为“json”文件存储在存储桶中。我想让它们存储为“csv”文件。

我目前正在尝试修改生成 winston 日志的格式以将它们转换为 csv 格式，但无法这样做。

我还研究了 Stackdriver Logging Winston 插件 [@google-cloud/logging-winston]，但这里也没有运气。

此外，在将日志从 stackdriver 日志导出到存储桶时，没有指定保存日志的格式。 [Creating sink in Storage bucket for exporting logs]

将这些日志存储为 csv 文件的方法应该是什么？

Link to the logs.json file

Answer 1

您可以在我们的 UserVoice 社区提出功能请求：https://googlecloudplatform.uservoice.com/forums/302820-stackdriver

否则，您可以写入 GCS，然后批量处理文件以转换为 CSV，或者将日志导出到 PubSub 并使用云功能或 Dataflow 处理以写入 GCS 存储桶。