将文件从一个文件夹复制到另一个在 .txt 文件中具有匹配名称的文件夹

Question

我想根据.txt 文件中的匹配文件名将文件从一个大文件夹复制到另一个文件夹。

我的list.txt 文件包含文件名：

S001
S002
S003

另一个大文件夹包含许多 ex 文件。 S001, S002, S003, S004, S005.

我只想从这个大文件夹中复制与我的list.txt 文件中的文件名匹配的文件。

我尝试过 Bash、Python - 不工作。

for /f %%f in list.txt do robocopy SourceFolder/ DestinationFolder/ %%f

也不工作。

我在 Python 中的逻辑不起作用：

import os
import shutil

def main():

    destination = "DestinationFolder/copy"

    source = "SourceFolder/MyBigData"

    with open(source, "r") as lines:
        filenames_to_copy = set(line.rstrip() for line in lines)

    for filenames in os.walk(destination):
        for filename in filenames:
            if filename in filenames_to_copy:
                shutil.copy(source, destination)

在 Bash、Python 或 R 中有任何答案吗？

谢谢

Answer 1

我认为您的 Python 代码的问题在于，对于 os.walk()，您的 filename 每次都会是一个列表，而不会在您的 filenames_to_copy 中找到。

我建议尝试使用os.listdir()，因为这会以字符串形式返回文件名/文件夹名称列表 - 更容易与您的 filenames_to_copy 进行比较。

其他注意事项 - 也许您想在源而不是目标上执行 os.listdir()（或 os.walk()）。目前，如果文件已存在于目标中，您只会将文件从源复制到目标。

Answer 2

os.walk() 将返回一个包含三个元素的元组：检查的当前目录的名称、其中的文件夹列表以及其中的文件列表。你只对后者感兴趣。所以你应该迭代：

for _, _, filenames in os.walk(destination):

正如 JezMonkey 所指出的，os.listdir() 更易于使用，因为它会列出所请求目录中的文件和文件夹。但是，您将失去 os.walk() 启用的递归搜索。如果您所有的文件都在同一个文件夹中并且没有隐藏在某些文件夹中，您宁愿使用os.listdir()。

我在您的代码中看到的第二个问题是，当我认为您想复制 os.path.join(source, filename) 时，您复制了 source。

您能否发布您在 Python 脚本中遇到的确切错误，以便我们更好地帮助您。

更新

您实际上不需要列出源文件夹中的所有文件。使用os.path.exists，您可以检查文件是否存在，如果存在则复制它。

import os
import shutil

def main():
    destination = "DestinationFolder/copy"
    source = "SourceFolder/MyBigData"

    with open("list.txt", "r") as lines: # adapt the name of the file to open to your exact location.
        filenames_to_copy = set(line.rstrip() for line in lines)

    for filename in filenames_to_copy:
        source_path = os.path.join(source, filename)
        if os.path.exists(source_path):
            print("copying {} to {}".format(source_path, destination))
            shutil.copy(source_path, destination)

Answer 3

感谢@PySaad 和@Guillaume 的贡献，尽管我的脚本现在可以运行：我补充说：

             if os.path.exists(copy_to):
            shutil.rmtree(copy_to)
            shutil.copytree(file_to_copy, copy_to)

到脚本和它的工作就像一个魅力:)

非常感谢您的帮助！

Answer 4

你可以试试下面的代码 -

import glob

big_dir = "~\big_dir"
copy_to = "~\copy_to"
copy_ref = "~\copy_ref.txt"

big_dir_files = [os.path.basename(f) for f in glob.glob(os.path.join(big_dir, '*'))]
print 'big_dir', big_dir_files # Returns all filenames from big directory

with open(copy_ref, "r") as lines:
    filenames_to_copy = set(line.rstrip() for line in lines)
    print filenames_to_copy   # prints filename which you have in .txt file

    for file in filenames_to_copy:
        if file in big_dir_files:   # Matches filename from ref.txt with filename in big dir
            file_to_copy = os.path.join(big_dir, file)
            copy_(file_to_copy, copy_to)

def copy_(source_dir, dest_dir):
    files = glob.iglob(os.path.join(source_dir, '*'))
    for file in files:
        dest = os.path.join(dest_dir, os.path.basename(os.path.dirname(file)))
        if not os.path.exists(dir_name):
            os.mkdir(dest)
        shutil.copy2(file, dest)

参考：

https://docs.python.org/3/library/glob.html