有没有办法将数据集的多个值与左外连接（Flink）中另一个数据集的单个值进行比较

Question

我正在尝试寻找一种方法来检查一个数据集的两个值是否可以使用 Flink Left Outer Join 与另一个数据集的一个值进行检查？

    final DataSet<type> finalDataSet = dataSet1
            .leftOuterJoin(dataSet2)
            .where("value1")
            .equalTo("value2")
            .with(new FunctionNameToBeImplemented())
            .name("StepName");

这适用于一对一检查。

有没有办法做类似的事情：

      final DataSet<type> finalDataSet = dataSet1
            .leftOuterJoin(dataSet2)
            .where(["value1","value2"]) // List of values
            .contains("value2")
            .with(new FunctionNameToBeImplemented())
            .name("StepName");

我希望输出先检查 value1，然后检查 value2，如果有任何（或两者）匹配，请将其传递给函数“FunctionNameToBeImplemented()”以进行进一步处理。

Answer 1

Flink 的 DataSet API 中的外连接是严格的相等连接。

您可以使用两个单独的连接来实现您的用例，然后合并结果。为了避免重复，连接函数中的一个应该检查其他条件是否也适用，如果不适用则只产生结果。

left  -\
        > JOIN(l.val1 == r.val2)[emit result] ---------------------\
right -/                                                            \
                                                                     > UNION
left  -\                                                            /
        > JOIN(l.val2 == r.val2)[emit result if l.val1 != r.val2) -/
right -/