关于管理完美工作流程的日志

Question

我正在为业务应用程序使用完美的工作流程。

我对存储在 postgresql 中的日志有疑问。

如果将日常日志保存在postgresql服务器上，数据量将是巨大的。

是否有一种机制可以轮换此日志并将其写入文本文件？

另外，将postgresql表中的数据写入文本文件等后，是否可以删除对应的记录？

Answer 1

由于您正在运行 Prefect Server 的实例，因此编写一个连接到 postgres 容器并将日志归档到某种云存储（GCS、S3 等）的流是有意义的。我可能会这样想：

1. 使用 Prefect Client 收集早于特定日期的 Flow Runs 的所有 ID。
2. 连接到 postgres 并从日志表中选择具有这些 Flow Run ID 的日志
3. 根据偏好将这些日志写入 CSV/SQL/Text
4. 从 postgres 中删除这些日志