【问题标题】:How to determine the source of a job submission如何确定作业提交的来源
【发布时间】:2022-11-15 22:37:17
【问题描述】:

我正在寻找一种方法来确定作业是如何在 HPCC 集群上启动的。 有几种方法可以提交作业。例如: 1- 通过 ECL IDE / ECL Watch 手动提交 2- 外部 cron 提交 3- 动态构建代码的 ECL 提交 4- 如果文件位于目录中,则会触发提交 等等 我可以通过执行 STD.System.Workunit.WorkunitList 来检索一些重要信息, 但我找不到任何函数可以给我一个指示来源的属性 提交。

HPCC 是一个以数据为中心的平台,ECL 反映了这种方法。所以我正在尝试构建 定义与该数据相关的代码的矩阵。一个产品在技术上是一堆 作为源输入结果的数据(文件)-> 清理和转换过程 -> 到 最终的基础文件。然后准备/索引这些文件以供外部使用: 1- Roxie 查询 2-PowerBI 3-网页 4- 通过 ftp 或电子邮件发送报告 等等

我想构建这个矩阵,定义(按产品)启动作业,它们在哪里启动,任何时间表(?),相关的输入/输出文件(标记它们是否是源/中间/基础/输出)。我正在尝试设计这个,以便可以动态构建矩阵,因为众所周知: (1) 这种类型的文档在任何地方都不存在,因此如果有人新来工作 一个产品,他们可以去看看数据的范围和生命周期, (2) 没有人喜欢记录, (3) 第二次实际创建并保存任何手动文档;与现实不同步

到目前为止,设计将是一组文件(由详细程度定义),这些文件将 然后将它们连接在一起以产生最终矩阵。不确定这是否会以 PowerBI 报告或网页的形式结束……仍在折腾。尽管如此,这可能被证明是有用的 任何使用 HPCC 并希望获得 30,000 英尺的产品视图的人。

我试图以编程方式扫描 WUID 输出,寻找必要的属性,但收效甚微。

我感谢任何帮助/cmets。

【问题讨论】:

  • 为确保 HPCC 系统/ECL 团队能够看到您的问题,您应该始终在帖子中使用 HPCC-ECL 标签,否则可能会错过这些问题。 ——理查德

标签: cron documentation submission


【解决方案1】:

无论哪个组件提交 ECL 以在平台上执行,它们最终都将通过相同的 WsWorkunits API,即公共 SOAP/REST 接口。

虽然某些客户端应用程序会留下指纹以便您可以推断出它的来源,但这并不是万无一失的机制......

例如:在 http://play.hpccsystems.com:8010/esp/files/index.html#/workunits/W20221115-075604/xml 中,您可以看到 ECL IDE 将一些元信息附加到 Workunit 中(它将 IDE 版本号存储在“应用程序”部分)

【讨论】:

    最近更新 更多