使用委托的异步调用

Question

我希望方法 splitFile 的单独异步线程应该运行，以便任务变得更快，但下面的代码不起作用。当我调试时，它到达RecCnt = File.ReadAllLines(SourceFile).Length - 1; 行并出来。请帮忙。

public delegate void SplitFile_Delegate(FileInfo file);

static void Main(string[] args)
{ 
     DirectoryInfo d = new DirectoryInfo(@"D:\test\Perf testing Splitter"); //Assuming Test is your Folder
     FileInfo[] Files = d.GetFiles("*.txt"); //Getting Text files

     foreach (FileInfo file in Files)
     {
         SplitFile_Delegate LocalDelegate = new SplitFile_Delegate(SplitFile);

         IAsyncResult R = LocalDelegate.BeginInvoke(file, null, null); //invoking the method
         LocalDelegate.EndInvoke(R);

      }
}

private static void SplitFile(FileInfo file)
{
     try
     {
         String fname;
         //int FileLength;
         int RecCnt;
         int fileCount;
         fname = file.Name;
         String SourceFile = @"D:\test\Perf testing Splitter\" + file.Name;


         RecCnt = File.ReadAllLines(SourceFile).Length - 1;
         fileCount = RecCnt / 10000;

         FileStream fs = new FileStream(SourceFile, FileMode.Open);
         using (StreamReader sr = new StreamReader(fs))
         {
             while (!sr.EndOfStream)
             {
                 String dataLine = sr.ReadLine();
                 for (int x = 0; x < (fileCount + 1); x++)
                 {
                      String Filename = @"D:\test\Perf testing Splitter\Destination Files\" + fname + "_" + x + "by" + (fileCount + 1) + ".txt"; //test0by4
                      using (StreamWriter Writer = file.AppendText(Filename))
                      {
                          for (int y = 0; y < 10000; y++)
                          {
                              Writer.WriteLine(dataLine);
                              dataLine = sr.ReadLine();
                          }
                          Writer.Close();
                      }

                  }
              }
          }
     }
     catch (Exception ex)
     {
          Console.WriteLine(ex.Message);
     }
}

Answer 1

您的代码实际上并不需要任何多线程。它甚至不需要那么多的异步处理——你最有可能使 I/O 饱和，除非你有多个驱动器作为数据源，否则你不会通过添加并行性来改善它。

另一方面，您的代码读取每个文件两次。无缘无故地浪费内存、时间甚至 CPU。相反，只需这样做：

FileStream fs = new FileStream(SourceFile, FileMode.Open);
using (StreamReader sr = new StreamReader(fs))
{
    string line;
    string fileName = null; 
    StreamWriter outputFile = null;
    int lineCounter = 0;
    int outputFileIndex = 0;

    while ((line = sr.ReadLine()) != null)
    {
        if (fileName == null || lineCounter >= 10000)
        {
            lineCounter = 0;
            outputFileIndex++;
            fileName = @"D:\Output\" + fname + "_" + outputFileIndex + ".txt";

            if (outputFile != null) outputFile.Dispose();
            outputFile = File.AppendText(fileName);
        }

        outputFile.WriteLine(line);
        lineCounter++;
    }
}

如果你真的需要XOutOfY 格式的文件名，你可以在之后重命名它们 - 这比逐行读取源文件两次要便宜得多。或者，如果您不关心一次将整个文件保存在内存中，只需使用从 ReadAllLines 获得的数组并对其进行迭代，而不是重新读取。

为了更简单，您还可以使用foreach (var line in File.ReadLines(fileName))。

如果你真的想让这个异步，处理它的方法是使用异步 I/O，而不仅仅是通过假脱机新线程。所以你可以使用await 和StreamReader.ReadLineAsync 等。

Answer 2

您不需要调用 EndInvoke，实际上所有 EndInvoke 所做的只是等待您的返回值。由于 SplitFile 返回 void，我猜是有一个优化开始了，因为你不需要等待任何东西，它只是忽略了等待。更多详情：C# Asynchronous call without EndInvoke?

话虽如此，您对 Begin/EndInvoke 的使用可能不会比串行编程快（并且可能会稍微慢一些），因为您的 for 循环仍然是序列化的，并且您仍在串行运行迭代。改变的只是你使用了一个看起来不需要的委托。

您打算使用的可能是 Parallel.ForEach（MSDN：https://msdn.microsoft.com/en-us/library/dd992001(v=vs.110).aspx），它可能会并行运行迭代。

编辑：正如其他人所提到的，让多个线程参与文件操作可能不会提高性能，因为您的文件操作可能是磁盘绑定的。从异步文件读/写中获得的主要好处可能是取消阻塞主线程以进行 UI 更新。如果您想要一个更好的答案，您需要用“性能”来指定您想要什么。