将日志插入 BigQuery 表的 Bash 脚本答案

【问题标题】：Bash script to insert log into BigQuery table将日志插入 BigQuery 表的 Bash 脚本
【发布时间】：2019-03-20 18:59:30
【问题描述】：

我使用 Matillion 作为我的 etl 工具，我正在尝试公开包/作业的日志文件并将它们转储到 BigQuery 表中。我希望使用 Bash 脚本组件来帮助我完成这项工作。

所以在作业中实现我自己的日志，如下所示

echo “$(date) Starting” >> /tmp/logfile.log

我想把它插入我的表 ${tablename}

谢谢

【问题讨论】：

【解决方案1】：

您可以在 Bash 脚本中将 tmp 文件复制/移动到 GCS，并在作业结束时使用 GCS Load。

【讨论】：

【解决方案2】：

我认为 Matillion 中的 BigQuery 组件可能会对您有所帮助。虽然在您可以在 Matillion 和 GCP 之间进行握手之前涉及一些配置（我假设您正在使用 Matillion 作为雪花或 Redshift）Here is the configuration part

【讨论】：