并行处理 Windows 批处理文件

Question

我有大量文件需要转换为不同的格式。转换是通过将文件名作为参数的 Java-JAR-File 完成的。我现在有一个 Windows 批处理文件，它使用 for 循环遍历所有文件（有一个文件包含需要转换的所有文件的列表）

for /F %%i in (all_files.txt) do call java -cp %Classpath% de.xyz.Convert -xml %%i .\xml

现在我要执行此操作的机器有八个内核。文件数量约为 360.000，我希望它花费尽可能少的时间，所以我想使用尽可能多的内核。我将如何尽可能简单地使用多个内核？ Windows 会自己做吗？

Answer 1

好的，因为我之前实际上没有做过，所以我把它敲了起来。这不是很好，我使用的 lib 是我创建的一个 jar，它会在 2 分钟后崩溃。希望您能够根据您的需要对其进行逆向工程。

package test;

import java.io.IOException;
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;


public class Test {
    public static void main(String[] args) throws InterruptedException, IOException {
        BlockingQueue<Runnable> runnableQueue = new LinkedBlockingQueue<>();
        ExecutorService executorServ = new ThreadPoolExecutor(8, 8, 1, TimeUnit.MINUTES, runnableQueue);
        runnableQueue.add(new RunCrash("Example")); // Add one for each file...
        executorServ.shutdown();
        while(!executorServ.isTerminated()) {
            // running
        }
    }
}

class RunCrash implements Runnable {

    private String fileName;
    RunCrash(String fileName) {
        this.fileName = fileName;
    }

    @Override
    public void run() {
        System.out.println(fileName);
        try {
            crash.CrashMe.main(new String[]{fileName});
        } catch (InterruptedException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
}

哦，你可以让主线程在其他线程完成之前死掉，我相信JVM会保留执行器和关联的队列。 :)