使用多个线程将数据写入多个文件答案

【问题标题】：Write data to multiple files using multiple threads使用多个线程将数据写入多个文件
【发布时间】：2019-07-22 11:53:39
【问题描述】：

我想使用多个线程创建多个文件，并将数据（在执行某些操作后）从它们各自的线程附加到相应的文件。

我试过了，但是线程之间的数据变得混乱，并且没有将正确的数据添加到相应的文件中。

import threading
import time

exitFlag = 0

class myThread (threading.Thread):
   def __init__(self, threadID, name, counter):
      threading.Thread.__init__(self)
      self.threadID = threadID
      self.name = name
      self.counter = counter
   def run(self):
      with open('file_'+count+'_logs.txt', 'a+') as result:
            result.write("Starting " + self.name)
            result.write("Exiting " + self.name)
      print ("Starting " + self.name)
      print_time(self.name, self.counter, 5)
      print ("Exiting " + self.name)

def print_time(threadName, delay, counter):
   while counter:
      if exitFlag:
         threadName.exit()
      time.sleep(delay)
      print ("%s: %s" % (threadName, time.ctime(time.time())))
      counter -= 1

myList = ['string0', 'string1', 'string2', 'string3']

if __name__ == "__main__":
    count = 0
    for data in myList:
        count += 1
        mythread = myThread(count, "Thread-" + str(count), count)
        mythread.start()
        mythread.join()

我希望从 4 个线程创建 4 个文件，线程 1 的数据应该写入 file_1_logs.txt 等等... 但是在写入数据时，有时所有数据都写入一个文件中。如何将这些数据正确写入文件？

【问题讨论】：

您的变量count 在线程中不存在。难道你的意思是self.counter？
count 存在于main中，是构造函数的参数
我知道，但它在线程中不存在。该线程确实与主线程分开运行。使用线程时不要使用全局（或更高范围）变量。
你是什么意思in线程？
这是一个约束，我必须使用更高范围的变量...我从控制我的线程的其他函数获取数据:(

标签： python multithreading python-multithreading file-handling

【解决方案1】：

不要在线程中使用更高范围或全局变量。每个变量（您要修改的）都必须是线程本地的。

这意味着您需要将所有内容的初始值传递给 Thread 构造函数。对于像 print_time 这样的函数也是如此。函数完成其工作所需的所有内容都通过参数传递 - 或者您将其转换为类方法。

考虑以下更改。请注意MyThread 是如何完全独立的：

from threading import Thread
from time import sleep
from datetime import datetime

class MyThread(Thread):
    def __init__(self, threadID, name, delay, data):
        Thread.__init__(self)
        self.threadID = threadID
        self.name = name
        self.data = data
        self.delay = delay
        self.logfile = None

    def run(self):
        with open('file_%s_logs.txt' % self.threadID, 'a+') as logfile:
            self.logfile = logfile
            self.log("Starting")
            self.print_time(5)
            self.log("Exiting")
            self.logfile = None

    def print_time(self, repeat):
        for c in range(repeat):
            sleep(self.delay)
            self.log(self.data)

    def log(self, message):
        now = datetime.now().isoformat()
        formatted_line = "%s:%s:%s" % (now, self.name, message)
        print(formatted_line)
        if self.logfile:
            self.logfile.write(formatted_line + '\n')


if __name__ == "__main__":
    myList = ['string0', 'string1', 'string2', 'string3']
    threads = []

    # spawn threads
    for idx, data in enumerate(myList):
        thread = MyThread(idx, "Thread-%s" % idx, idx, data)
        threads.append(thread)
        thread.start()

    # wait for threads to finish
    while True:
        if any(thread.is_alive() for thread in threads):
            sleep(0.1)
        else:
            print("All done.")
            break

【讨论】：