在继续之前等待先前的块完成处理

Question

我有一个看起来像这样的过程。

1. 从文件夹中获取一组 CSV 文件
2. 读取 CSV 文件，并将内容存储在数据库中
3. 从数据库中读取数据并执行更多处理。

将第 2 步和第 3 步分开的原因是将读取文件所涉及的问题与处理文件所涉及的问题分开。

我可以用三个数据流块对此进行建模。我遇到的问题是，在所有文件都保存到数据库之前，我不希望块 3 启动。我需要某种方法来确定在块 1 中提取的所有文件都已由块 2 处理。块 2 将其 MaxDegreeOfParallelism 设置为 Unbounded - 我希望它们并行处理。

我考虑在前两个街区使用Encapsulate，但我认为这行不通。也许我需要某种Batchblock，但批次的大小并不相同。

我该怎么做？我需要创建自己的块类型吗？

Answer 1

这不适合单个 TDF 流，因为第 2 步不会将项目传递到第 3 步，第 3 步是在前一个已经完成之后开始的。

您应该有 2 个独立的流程。第一个从文件夹中读取并存储在数据库中，第二个从数据库中读取并开始处理。您可以通过等待Completion 属性来等待第一个流程完成：

var reader = // Create #1 block
var dbFiller = // Create #2 block

reader.LinkTo(dbFiller, new DataflowLinkOptions { PropagateCompletion = true }); // Link both blocks with Completion Propagation

reader.Post( // Queue up work for reader

await reader.Completion; // Asynchronously wait for previous steps to complete

var processor = // Create #3 block

processor.Post( // Queue up work for processor