如何在python3中使用线程池加速程序

Question

what kind of thread or how many thread should I use, if I doing the following?

我的问题是这样的：

线程 1 执行该过程：只要 line_1（base_file 的第一行）中的姓氏可以在 row_1-row_end（huge_file 中的每一行）中匹配，则在 row_1-row_end 中写入 line_1 和几行（如果匹配）。

线程 2 做这个过程：只要 line_2（base_file 的第一行）中的姓氏可以在 row_1-row_end（huge_file 中的每一行）中匹配，如果匹配，则在 row_1-row_end 中写入 line_2 和几行。

线程 3 执行该过程：只要 line_3（base_file 的第一行）中的姓氏可以在 row_1-row_end（huge_file 中的每一行）中匹配，如果匹配，则在 row_1-row_end 中写入 line_3 和几行。

........

线程 100 执行该过程：只要 line_100（base_file 的第一行）中的姓氏可以在 row_1-row_end（huge_file 中的每一行）中匹配，则在 row_1-row_end 中写入 line_100 和几行（如果匹配）。

这 100 个或更多线程都同时启动。这可能吗？

Answer 1

我有正常的代码来执行分步工作，这是一个嵌套的 for 循环，但我需要很长时间来处理我的代码。

from fuzzywuzzy import fuzz
from fuzzywuzzy import process
import csv
import codecs
    list1 = []
    list2 = []
    with open("Director_1980.csv", 'wt', newline = '') as f3:
        writer = csv.writer(f3)    
        f2list = []
        with open("contribDB_1980final.csv", 'rt') as f2: ## This file is a big file
            reader = csv.reader(f2)    
            for row in reader: 
                f2list.append(row)

        with codecs.open("director.csv", "r",encoding='utf-8', errors='ignore') as fdata:
            for line in fdata:
                line = line.split("|")
                lName = line[5]
                fName = line[1] 
                mName = line[2]
                employer = line[6]


                for row in f2list: 
                    lName2 = row[7]
                    fName2 = row[8]
                    mName2 = row[9]
                    employer2 = row[20]

                    list1 = []
                    list2 = []
                    if fuzz.token_set_ratio(lName, lName2) == 100:
                        count2 = count2 + 1  
                        print(count2)
                        #print(count2 )
                        lName_ratio = 100
                        fName_ratio = fuzz.token_set_ratio(fName, fName2)
                        mName_ratio = fuzz.token_set_ratio(mName, mName2)
                        employer_ratio = fuzz.token_set_ratio(employer, employer2)
                        new_line = line + row
                        new_line.insert(16, lName_ratio)
                        new_line.insert(18, fName_ratio) 
                        new_line.insert(20, mName_ratio)
                        new_line.insert(32, employer_ratio)

                        writer.writerow(new_line)