来自天蓝色批处理服务的定期标准输出和标准错误

Question

我正在 azure 数据工厂中运行管道，并且正在使用自定义单元格来运行 azure 批处理活动。

我运行的天蓝色批处理作业非常大，我想监控我在那个作业中的哪个阶段。在远程 VM 上，我通常使用 python 中的 logging 模块来执行此操作。

我能够在作业完成后获取作业的状态（即所有日志记录信息），但我想在运行作业时获取它。

我该怎么做？

Answer 1

Batch 自动将 stdout/stderr 捕获到任务目录中的任务的 stdout.txt 和 stderr.txt 中。如果需要，请确保您 periodically flush your streams。您有两种选择：

1. 在您的程序中实现逻辑（作为批处理任务执行）以定期将这些文件导出到您可以查看的其他位置（例如 Azure 存储 Blob）。
2. 在您的客户端上实现逻辑以定期调用GetFile 并检索stdout.txt 或stderr.txt 的新偏移量（ocp-range 标头）。如果使用这些而不是 REST，各种语言的 SDK 都有方便的 API。