使用 Pentaho DI 读取 ISAM COBOL 文件

Question

我们在大型机上有多个非常旧的 ISAM COBOL 文件，其中包含历史数据。我必须构建一个 ETL 流程来使用 Pentaho DI 读取/迁移这些数据（存储在 ISAM 文件中），并将其加载到 PostgreSQL 数据库中，几乎不需要转换。

如何使用 Pentaho DI 实现这一目标？

一种解决方法是编写一个 Cobol 程序，将 ISAM 文件转换为大型机中的常规数据集，然后轻松 ftp/读取转换后的文件。但是，请让我知道是否有解决方案可以使用 Pentaho 直接从 ISAM 文件中读取，而无需开发另一个 cobol 程序。另外，请告诉我有关迁移的任何提示。

Answer 1

您不会将 ISAM (VSAM ???) 文件直接导入 Pentaho。

您不需要编写程序来卸载 ISAM (VSAM ???) 文件， 现有的大型机 实用程序（sort 等）可用于卸载。然后可以将卸载的文件传输到您的系统（它可能是一个 binary-ebcdic 文件）， 您是否可以处理该文件是另一个问题。

---

文件：

复杂的文件（例如，有 Cobol 重新定义，发生取决于），将 需要 Cobol。

对于简单文件：

• Mainframe-Sort可以将Binary文件转换为Text 如果需要。
• 凭记忆 Pentaho 有一些 Cobol 功能（基于 cobol2j / cb2xml）
• 有一个legstar plugin 用于 cobol 处理。
• JRecord 中有一个 Cobol-to-Csv 程序可以使用 将 Cobol 文件转换为 CSV。

但是：

• 文件可能不够，您可能需要其他相关详细信息，这可能需要额外的 Cobol 提取程序。
• 当前表的结构可能不适合您的新用途。有时候，可能是 更容易对大型机进行一些转换，因为大型机上存在所有相关的表/数据库。

---

注意事项

• Cobol 重新定义 - 需要在 Mainframe 上的 Cobol 中进行整理（或在 Java~JRecord 步骤中）。重新定义子句是一个主要问题 当 Pic-x/9 字段重新定义二进制 (comp/comp-3) 字段时。
• 发生取决于 - 传输前在 Cobol 中修复。
• 多记录文件

---

其他方法

• Dynamically Reading COBOL Redefines with C# 这与您的项目非常相似（只是 Cobol 不同） Thomas 使用 cb2xml 从 Copybook 生成 Cobol 程序。 您可以生成排序。

披露：我编写了 JRecord 并研究了 cb2xml。