用于流集合的 Zip 流引发堆栈溢出异常

Question

我有一组流，我试图将它们压缩到一个流中。我正在使用 guava Streams.zip 方法来压缩流。当集合中的流数低于 8000 时它工作正常，高于 8000 时它开始抛出堆栈溢出异常。在本地调试时，我发现堆栈溢出发生在 zip 方法中。它成功压缩到 8000 个流，然后开始抛出异常。我无法找到解决方法或为什么会发生这种情况。需要一些帮助才能找到。番石榴邮政编码在这里https://github.com/google/guava/blame/6d7e326b2cbfba5f19fc67859c0b3d4c45fab63f/guava/src/com/google/common/collect/Streams.java#L318

我尝试了本地调试。将我所有的 lambda 调用转换为 vanlla for loop ，以便确认我们没有递归调用任何东西。最后指出这是由 zip 函数引起的。

源代码：

使用 zip 的合并方法。

private static <T> Stream<T> merge(Stream<T> firstList, Stream<T> secondList) {
            return Streams.zip(firstList, secondList, (first, second) -> {
                if (first == null) {
                    return second;
                }
    
                return first.merge(second);
            });
        }

我这样调用合并方法

Collections.singletonList(inlineList.stream()
                    .reduce(merge)

其中 inline list 是流列表。

例外：

java.lang.StackOverflowError 在 java.util.Spliterators$1Adapter.hasNext(Spliterators.java:681) 在 com.google.common.collect.Streams$1.tryAdvance(Streams.java:322) 在 java.util.Spliterators$1Adapter.hasNext(Spliterators.java:681) 在 com.google.common.collect.Streams$1.tryAdvance(Streams.java:322) 在 java.util.Spliterators$1Adapter.hasNext(Spliterators.java:681) 在 com.google.common.collect.Streams$1.tryAdvance(Streams.java:322) 在 java.util.Spliterators$1Adapter.hasNext(Spliterators.java:681) 在 com.google.common.collect.Streams$1.tryAdvance(Streams.java:322) 在 java.util.Spliterators$1Adapter.hasNext(Spliterators.java:681) 在 com.google.common.collect.Streams$1.tryAdvance(Streams.java:322) 在 java.util.Spliterators$1Adapter.hasNext(Spliterators.java:681) 在 com.google.common.collect.Streams$1.tryAdvance(Streams.java:322) 在 java.util.Spliterators$1Adapter.hasNext(Spliterators.java:681) 在 com.google.common.collect.Streams$1.tryAdvance(Streams.java:322) 在 java.util.Spliterators$1Adapter.hasNext(Spliterators.java:681) 在 com.google.common.collect.Streams$1.tryAdvance(Streams.java:322) 在 java.util.Spliterators$1Adapter.hasNext(Spliterators.java:681) 在 com.google.common.collect.Streams$1.tryAdvance(Streams.java:322) 在 java.util.Spliterators$1Adapter.hasNext(Spliterators.java:681)

Answer 1

问题是zip() 返回一个委托给firstList 和secondList 的流，因此对结果流的每次调用都会触发对底层流的嵌套调用。获取您的结果并将其与下一个流一起压缩，现在您的堆栈深度为 3 级。做 8000 次，you can see 为什么它可能会产生堆栈溢出。

我怀疑这是XY Problem，并且有一种更简洁的方法可以实现您想要的，而不涉及压缩流。但是在问题的参数范围内，一种解决方案是编写一个可以处理的拉链n同时流，而不是一一合并：

static <T> Stream<T> merge(List<Stream<T>> streams, BinaryOperator<T> mergeFunction) {
    List<Iterator<T>> iters = streams.stream()
            .map(Stream::iterator)
            .collect(Collectors.toList());

    return StreamSupport.stream(new Spliterators.AbstractSpliterator<T>(Long.MAX_VALUE, 0) {
        @Override
        public boolean tryAdvance(Consumer<? super T> action) {
            Optional<T> next = iters.stream()
                    .filter(Iterator::hasNext)
                    .map(Iterator::next)
                    .reduce(mergeFunction);

            next.ifPresent(action);
            return next.isPresent();
        }
    }, false);
}