使用 JPMML 评估 SAS 生成的 PMML 文件时出现 FMTWIDTH 错误答案

【问题标题】：FMTWIDTH error while using JPMML to evaluate a SAS produced PMML file使用 JPMML 评估 SAS 生成的 PMML 文件时出现 FMTWIDTH 错误
【发布时间】：2016-01-05 08:12:19
【问题描述】：

我有一个从 SAS Miner 生成的 PMML，我无法使用 JPMML 1.1.4 对其进行正确评估。 JPMML 1.1.4 说它支持 PMML 4.2，而 PMML 说它是 PMML 4.2 版。

以下函数“SAS-EM-String-Normalize”中的 FMTWIDTH 是正确的 PMML 语法吗？

知道为什么我不能使用 JPMML 评估这个函数吗？

我的 TransformationDictionary 中的函数看起来像，

<TransformationDictionary>
    <DefineFunction name="SAS-EM-String-Normalize" optype="categorical" dataType="string">
        <ParameterField name="FMTWIDTH" optype="continuous"/>
        <ParameterField name="AnyCInput" optype="categorical"/>
        <Apply function="trimBlanks">
          <Apply function="uppercase">
            <Apply function="substring">
              <FieldRef field="AnyCInput"/>
              <Constant>1</Constant>
              <Constant>FMTWIDTH</Constant>
            </Apply>
          </Apply>
        </Apply>   
    </DefineFunction>
</TransformationDictionary>

我得到以下异常，

线程“主”org.jpmml.evaluator.TypeCheckException 中的异常：预期为 INTEGER，但得到 STRING (FMTWIDTH) org.jpmml.evaluator.FieldValue.asInteger(FieldValue.java:125) 在 org.jpmml.evaluator.FunctionRegistry$36.evaluate(FunctionRegistry.java:463) 在 org.jpmml.evaluator.FunctionUtil.evaluate(FunctionUtil.java:38) 在 org.jpmml.evaluator.ExpressionUtil.evaluateApply(ExpressionUtil.java:203) 在 org.jpmml.evaluator.ExpressionUtil.evaluate(ExpressionUtil.java:91) 在 org.jpmml.evaluator.FunctionUtil.evaluate(FunctionUtil.java:76) 在 org.jpmml.evaluator.FunctionUtil.evaluate(FunctionUtil.java:43) 在 org.jpmml.evaluator.ExpressionUtil.evaluateApply(ExpressionUtil.java:203) 在 org.jpmml.evaluator.ExpressionUtil.evaluate(ExpressionUtil.java:91) 在 org.jpmml.evaluator.ExpressionUtil.evaluateApply(ExpressionUtil.java:188) 在 org.jpmml.evaluator.ExpressionUtil.evaluate(ExpressionUtil.java:91) 在 org.jpmml.evaluator.ExpressionUtil.evaluate(ExpressionUtil.java:58) 在 org.jpmml.evaluator.ExpressionUtil.evaluate(ExpressionUtil.java:45) 在 org.jpmml.evaluator.ExpressionUtil.evaluateMapValues(ExpressionUtil.java:169) 在 org.jpmml.evaluator.ExpressionUtil.evaluate(ExpressionUtil.java:87) 在 org.jpmml.evaluator.ExpressionUtil.evaluate(ExpressionUtil.java:58) 在 org.jpmml.evaluator.ExpressionUtil.evaluate(ExpressionUtil.java:45) 在 org.jpmml.evaluator.RegressionModelEvaluator.evaluateRegressionTable(RegressionModelEvaluator.java:150) 在 org.jpmml.evaluator.RegressionModelEvaluator.evaluateClassification（RegressionModelEvaluator.java:107）在 org.jpmml.evaluator.RegressionModelEvaluator.evaluate(RegressionModelEvaluator.java:57) 在 org.jpmml.evaluator.ModelEvaluator.evaluate(ModelEvaluator.java:65) 在 ValidPMMLTesterRandomScores.randomEvaluation(ValidPMMLTesterRandomScores.java:116) 在 ValidPMMLTesterRandomScores.printModelInformation(ValidPMMLTesterRandomScores.java:94) 在 ValidPMMLTesterRandomScores.readModelFromFile(ValidPMMLTesterRandomScores.java:142) 在 ValidPMMLTesterRandomScores.main(ValidPMMLTesterRandomScores.java:160)

【问题讨论】：

您应该将 JPMML-Evaluator 依赖更新到最新的稳定版本，即 1.2.5。
作为进一步调试的一部分，我尝试升级到 1.2.5 版本，但对这个特定问题没有帮助。
如果不出意外，升级后的版本将产生更相关的异常堆栈跟踪。 JPMML-Evaluator 版本 1.1.4 可以追溯到 2014 年 5 月，从那时起许多东西已经被移动/修改。
如果 PMML 文档本身无效，则 PMML 消费软件的升级无济于事。但是，您可以使用 Java PMML API，尤其是 JPMML-Model 库的访问者 API，以编程方式执行 PMML 文档的动态更正。这种“SAS-EM-String-Normalize”问题的模式很容易识别和纠正（需要大约 10 到 15 行 Java 代码来创建可重用组件）。

标签： java sas pmml

【解决方案1】：

可以通过重新排列 PMML 类模型对象即时更正无效的 PMML 文档。 JPMML-Model library 的访客 API 正是为此目的而设计的：

PMML pmml = loadSasEmPMML()

Visitor invalidSubstringCorrector = new AbstractVisitor(){

    @Override
    public VisitorAction visit(Apply apply){
        if(isInvalidSubstring(apply)){
            List<Expression> expressions = apply.getExpressions();

            expressions.set(2, new FieldRef(new FieldName("FMTWIDTH")));
        }
        return super.visit(apply);
    }

    private boolean isInvalidSubstring(Apply apply){
        if(("substring").equals(apply.getFunction())){
            List<Expression> expressions = apply.getExpressions();

            Expression lengthArgument = expressions.get(2);
            if(lengthArgument instanceof Constant){
                Constant constant = (Constant)lengthArgument;
                return ("FMTWIDTH").equals(constant.getValue());
            }
        }
        return false;
    }
};

invalidSubstringCorrector.applyTo(pmml);

目前，isInvalidSubstring(Apply) 方法通过仅检查第三个表达式元素是否为字符串常量“FMTWIDTH”来识别有问题的 Apply 元素。如果需要更加确定，那么添加关于第一个和第二个表达式元素的正确断言也许是一个好主意。

【讨论】：

【解决方案2】：

根据formal definition of the PMML built-in function "substring"，它需要一个字符串参数和两个整数参数。 SAS EM 生成的 PMML 代码尝试使用字符串参数、整数参数和另一个字符串参数 substring($AnyCInput, 1, "FMTWIDTH") 调用此函数。

可以通过使用FieldRef 元素访问“FMTWIDTH”参数的值来修复此 PMML 片段：

<Apply function="substring">
  <FieldRef field="AnyCInput"/>
  <Constant>1</Constant>
  <FieldRef field="FMTWIDTH"/>
</Apply>

总之，JPMML 是正确的，SAS EM 是错误的。

【讨论】：

我遇到了其他错误，但这帮助我继续前进。