如何为自定义 U-SQL 提取器启用并行性

Question

我正在为我们的内部文件格式（二进制序列化）实现一个自定义 U-SQL 提取器。它在“原子”模式下运行良好：

[SqlUserDefinedExtractor(AtomicFileProcessing = true)]
public class BinaryExtractor : IExtractor

如果我关闭“Atomic”模式，看起来 U-SQL 会在随机位置拆分文件（我猜只是 250MB 块）。这对我来说是不能接受的。文件格式有一个特殊的行分隔符。我可以在我的提取器中定义一个自定义行分隔符并为其启用并行性吗？从技术上讲，如果有帮助的话，我可以将我们的行分隔符更改为新的分隔符。 有人可以帮我解决这个问题吗？

Answer 1

该文件确实被分成了多个块（我认为目前是 1 GB，但确切的值是实现定义的，并且可能会因性能原因而改变）。

如果文件确实是行分隔的，并且假设该行的原始输入数据小于 4MB，则可以使用 UDO 中的 input.Split() 函数将其拆分为行。如果原始输入数据跨越块边界（假设小于 4MB），调用将自动处理这种情况。

Here 是一个例子：

public override IEnumerable<IRow> Extract(IUnstructuredReader input, IUpdatableRow outputrow)
{
   // this._row_delim = this._encoding.GetBytes(row_delim); in class ctor
   foreach (Stream current in input.Split(this._row_delim))
   {
       using (StreamReader streamReader = new StreamReader(current, this._encoding))
       {
           int num = 0;
           string[] array = streamReader.ReadToEnd().Split(new string[]{this._col_delim}, StringSplitOptions.None);
           for (int i = 0; i < array.Length; i++)
           {
              // DO YOUR PROCESSING
           }
       }
       yield return outputrow.AsReadOnly();
    }
}

请注意，您自己无法跨块边界进行读取，您应该确保您的数据确实可以拆分为行。