【发布时间】:2022-11-15 22:37:17
【问题描述】:
我正在寻找一种方法来确定作业是如何在 HPCC 集群上启动的。 有几种方法可以提交作业。例如: 1- 通过 ECL IDE / ECL Watch 手动提交 2- 外部 cron 提交 3- 动态构建代码的 ECL 提交 4- 如果文件位于目录中,则会触发提交 等等 我可以通过执行 STD.System.Workunit.WorkunitList 来检索一些重要信息, 但我找不到任何函数可以给我一个指示来源的属性 提交。
HPCC 是一个以数据为中心的平台,ECL 反映了这种方法。所以我正在尝试构建 定义与该数据相关的代码的矩阵。一个产品在技术上是一堆 作为源输入结果的数据(文件)-> 清理和转换过程 -> 到 最终的基础文件。然后准备/索引这些文件以供外部使用: 1- Roxie 查询 2-PowerBI 3-网页 4- 通过 ftp 或电子邮件发送报告 等等
我想构建这个矩阵,定义(按产品)启动作业,它们在哪里启动,任何时间表(?),相关的输入/输出文件(标记它们是否是源/中间/基础/输出)。我正在尝试设计这个,以便可以动态构建矩阵,因为众所周知: (1) 这种类型的文档在任何地方都不存在,因此如果有人新来工作 一个产品,他们可以去看看数据的范围和生命周期, (2) 没有人喜欢记录, (3) 第二次实际创建并保存任何手动文档;与现实不同步
到目前为止,设计将是一组文件(由详细程度定义),这些文件将 然后将它们连接在一起以产生最终矩阵。不确定这是否会以 PowerBI 报告或网页的形式结束……仍在折腾。尽管如此,这可能被证明是有用的 任何使用 HPCC 并希望获得 30,000 英尺的产品视图的人。
我试图以编程方式扫描 WUID 输出,寻找必要的属性,但收效甚微。
我感谢任何帮助/cmets。
【问题讨论】:
-
为确保 HPCC 系统/ECL 团队能够看到您的问题,您应该始终在帖子中使用 HPCC-ECL 标签,否则可能会错过这些问题。 ——理查德
标签: cron documentation submission