文件入站适配器 多个线程处理同一个文件

Question

我们有一个 spring 集成应用程序，它将监视传入的文件夹，然后处理文件。我正在使用 prevent-duplicates="true" 但我必须更改为 false。 这里我解释了原因。 file inbound-channel-adapter performance issue

现在我看到多个线程处理同一个文件。感谢您的帮助！

<file:inbound-channel-adapter id="inFiles" channel="inFilesin" directory="file:${incoming.folder}" 
    queue-size="300" filename-regex="(?i)^(?!.*writing)" prevent-duplicates="false" auto-startup="true" auto-create-directory="false" >
        <int:poller id="fw.fileInboudPoller" fixed-rate="1" receive-timeout="3" time-unit="SECONDS"
            max-messages-per-poll="10" task-executor="taskExecutor" />
</file:inbound-channel-adapter>

<task:executor id="taskExecutor" pool-size="10-20" queue-capacity="20" rejection-policy="CALLER_RUNS" />

谢谢， 磨难

Answer 1

正如您所发现的，当文件系统有大量文件时，很难进行扩展。

您可能需要考虑替代技术、Rabbit、JMS 等。

或者，您可以将自定义文件锁定器或目录扫描器实现为described here。

提供的 nio-locker 没有帮助，因为在这种情况下它不会阻止多线程访问。