【问题标题】:Pentaho Kettle Process won't finish in UbuntuPentaho Kettle Process 不会在 Ubuntu 中完成
【发布时间】:2017-12-14 18:49:03
【问题描述】:

我在 Ubuntu 服务器上运行 Pentaho 数据集成。我有多个使用 Jenkins 作为协调器在不同时间运行的作业。我注意到有时 PDI 作业永远不会结束(我没有得到退出代码,并且日志在进程中间冻结,没有例外),当我检查服务器的内存时,它已完全分配。这提出了以下问题:

  1. 当服务器的内存完全分配时,Pentaho 不应该抛出 OutOfMemory Java 异常吗?
  2. 如果我没有运行服务器的进程,为什么会启动 Pentago biserver-ee?我只使用 kitchen.sh 运行作业。
  3. 为什么我总是有一个持久的 Pentaho 进程在运行(参见图中的进程 #2)?一定是 Pentaho 进程,因为 Java 参数和我的spoon.sh 配置一样,但是如果所有作业都完成了,它应该是持久的吗?
  4. Spoon/kettle/PDI/Pentago 是否启动持久进程来分配 Xms 参数指定的内存?
  5. 为什么我的 Pentaho 持久进程始终 100% 使用 1 个内核?

这是没有意义的,因为目前没有任何东西在运行。我想知道当日志停止打印结果时如何识别问题,所以我不知道从哪里开始解决这个问题。

我附上了一张我的服务器上消耗内存的三个进程(Jenkins、Pentaho BI Server 和 Spoon)的图像以及我的服务器、Java 和 Pentaho 设置的规格。

服务器规格(它是使用 VmWare 创建的虚拟机):

  1. 操作系统:Ubuntu 14.04.4
  2. 内存:12GB
  3. 核心数:4

我的 Java 版本是“1.8.0_101”

我在spoon.sh中修改了内存参数如下:

  1. Xms:1024m
  2. Xmx:7GB
  3. XX:MaxPermSize=2GB

【问题讨论】:

    标签: ubuntu ubuntu-14.04 pentaho pentaho-spoon pentaho-data-integration


    【解决方案1】:

    您是如何安装 Pentaho 工具的?如果您安装了 Pentaho Enterprise Edition 的试用版,那么它将安装和设置服务器以及 PDI 客户端(包括厨房)。

    如果您随后运行ctlscript.sh start 脚本,它将启动pentaho 服务器、存储库数据库(默认为postgres)以及与之相关的一切。

    如果您只是通过厨房运行并且不想使用 Pentaho 存储库,那么您可以完全停止 Pentaho 服务器并从文件系统启动 PDI 作业和转换。

    至于 OOO 错误:是的,它应该抛出它。有时会发生 PDI 突然停止并且不会引发任何错误,但大多数情况下您会在日志中看到 OOO 消息并且正确捕获故障。

    【讨论】:

    • 我在服务器下载了Pentaho Data Integration 6.1.0.1-196(大约2年前)的社区版并解压。当我调用工作时,我运行厨房并将工作路径作为参数传递。我没有使用任何 Pentaho 存储库。
    • 那时不应该有那个 pentaho 服务器作业。您需要调查启动厨房时可能调用它的原因。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-12-23
    • 1970-01-01
    • 2014-01-17
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多