我应该以这种方式使用 ConcurrentQueue 还是使用单个线程

Question

我正在做相当于美化邮件合并，然后将文件转换为 PDF...基于 .Net 4.5，我看到了几种可以进行线程处理的方法。使用线程安全队列的那个似乎很有趣（计划 A），但我可以看到一个潜在的问题。你怎么看？我会尽量保持简短，但要填写需要的内容。

这是假设进行数据库处理比 PDF 转换花费更多的时间。

在这两种情况下，每个文件的数据库处理都在其自己的线程/任务中完成，但 PDF 转换可以在许多单线程/任务中完成（计划 B），也可以在单个长时间运行的线程中完成（计划A）。这是我想知道的PDF转换。这一切都在 try/catch 语句中，但该线程不得失败或全部失败（计划 A）。你认为这是个好主意吗？任何建议将不胜感激。

/* A class to process a file: */ 
public class c_FileToConvert
{
    public string InFileName { get; set; }
    public int FileProcessingState { get; set; }
    public string ErrorMessage { get; set; }
    public List<string> listData = null;
    c_FileToConvert(string inFileName)
    {
        InFileName = inFileName;
        FileProcessingState = 0;
        ErrorMessage = ""; // yah, yah, yah - String.Empty
        listData = new List<string>();
    }   
    public void doDbProcessing()
    {
        // get the data from database and put strings in this.listData
        DAL.getDataForFile(this.InFileName, this.ErrorMessage); // static function
        if(this.ErrorMessage != "")
            this.FileProcessingState = -1; //fatal error
        else // Open file and append strings to it
        {  
            foreach(string s in this.listData}
                ...
            FileProcessingState = 1; // enum DB_WORK_COMPLETE ...
         }
    }   
    public void doPDFProcessing()
    {
        PDFConverter cPDFConverter = new PDFConverter();
        cPDFConverter.convertToPDF(InFileName, InFileName + ".PDF");
        FileProcessingState = 2; // enum PDF_WORK_COMPLETE ...
    }       
}

/*** These only for Plan A ***/
public ConcurrentQueue<c_FileToConvert> ConncurrentQueueFiles = new ConcurrentQueue<c_FileToConvert>(); 
public bool bProcessPDFs;   

public void doProcessing() // This is the main thread of the Windows Service 
{
    List<c_FileToConvert> listcFileToConvert = new List<c_FileToConvert>();

    /*** Only for Plan A ***/
    bProcessPDFs = true;
    Task task1 = new Task(new Action(startProcessingPDFs)); // Start it and forget it
    task1.Start();

    while(1 == 1)
    {
        List<string> listFileNamesToProcess = new List<string>();
        DAL.getFileNamesToProcessFromDb(listFileNamesToProcess);

        foreach(string s in listFileNamesToProcess)
        {
            c_FileToConvert cFileToConvert = new c_FileToConvert(s);
            listcFileToConvert.Add(cFileToConvert);
        }       

        foreach(c_FileToConvert c in listcFileToConvert)
            if(c.FileProcessingState == 0)
                Thread t = new Thread(new ParameterizedThreadStart(c.doDbProcessing));

        /** This is Plan A - throw it on single long running PDF processing thread **/
        foreach(c_FileToConvert c in listcFileToConvert)
            if(c.FileProcessingState == 1)
                ConncurrentQueueFiles.Enqueue(c);

        /*** This is Plan B - traditional thread for each file conversion ***/              
        foreach(c_FileToConvert c in listcFileToConvert)
            if(c.FileProcessingState == 1)
                Thread t = new Thread(new ParameterizedThreadStart(c.doPDFProcessing));

        int iCount = 0;
        for(int iCount = 0; iCount < c_FileToConvert.Count; iCount++;)
        {
            if((c.FileProcessingState == -1) || (c.FileProcessingState == 2))
            {
                DAL.updateProcessingState(c.FileProcessingState)
                listcFileToConvert.RemoveAt(iCount);
            }
        }
        sleep(1000);
    }
}   
public void startProcessingPDFs() /*** Only for Plan A ***/
{
    while (bProcessPDFs == true)
    {
        if (ConncurrentQueueFiles.IsEmpty == false)
        {
            try
            {
            c_FileToConvert cFileToConvert = null;
            if (ConncurrentQueueFiles.TryDequeue(out cFileToConvert) == true)
                cFileToConvert.doPDFProcessing();
            }
            catch(Exception e)
            {
                cFileToConvert.FileProcessingState = -1;
                cFileToConvert.ErrorMessage = e.message;
            }
        }
    }
}

Plan A 似乎是一个不错的解决方案，但如果 Task 以某种方式失败怎么办？是的，PDF 转换可以用单独的线程来完成，但我想保留它们用于数据库处理。

这是在文本编辑器中编写的，是我能写的最简单的代码，所以可能有些东西，但我想我明白了。

Answer 1

您正在处理多少个文件？ 10？ 100,000？如果数量很大，使用 1 个线程为每个文件运行数据库查询不是一个好主意。

线程是一个非常低级的控制流结构，我建议您尽量避免在应用程序代码中出现大量混乱而详细的线程生成、连接、同步等。如果可以的话，尽量保持简单。

如何：将每个文件所需的数据放入线程安全队列中。为结果创建另一个线程安全队列。产生一些线程，这些线程重复地从输入队列中拉出项目，运行查询，转换为 PDF，然后将输出推入输出队列。线程应该只共享输入和输出队列。

您可以选择任意数量的工作线程，或者尝试看看什么是好的数量。不要为每个文件创建 1 个线程 - 只需选择一个允许良好 CPU 和磁盘利用率的数字。

或者，如果您的语言/库有并行映射运算符，请使用它。它将为您省去很多麻烦。