使用 make 和 Makefiles 从包含空格的文件路径中处理原始源数据

Question

我有一个使用 python 脚本和 Makefile 的存储库。我想要一个设置程序 允许他们轻松设置环境并从我们的服务器复制必要的数据文件。

在 Makefile 中包含源数据文件的问题是公司服务器使用 驱动器名称中的空格，make 不太喜欢，所以我可以将这些文件列为依赖项 用于目标输出文件。

我目前的 Makefile 基本上只做以下几件事：

.PHONY : all
all : output.csv

.PHONY : copy_data_to_local_folder
copy_data_to_local_folder :
    python copyfile.py "V:\\Server Path\\With Spaces\\Inputs 1.csv" local/inputs1.csv
    python copyfile.py "V:\\Server Path\\With Spaces\\Inputs 2.csv" local/inputs2.csv

output.csv : combine_data.R local/inputs1.csv local/inputs2.csv
    Rscript $^ $@

copy_data_to_local_folder 部分只是为了获取数据到本地目录，但不包括在内 在 DAG 中导致产生output.csv（即all : output.csv copy_data_to_local_folder）或其他 目标每次都需要运行。

我的解决方案想法如下，但我不确定最佳做法是什么：

1. 使用不同的制作工具。我可以在 Python 中使用 Luigi 或在 R 中使用 Drake，但我更愿意保留 该工具更加通用。

2. 运行安装脚本以复制文件。我认为有一种方法可以运行文件复制脚本 作为环境设置的一部分，但我不熟悉如何执行此操作。

我不确定执行此操作的最佳方法。我希望能够与同事共享代码并拥有他们 能够在他们的系统上启动并运行，而无需进行过多的配置。有没有最好的 这种情况要练习吗？

Answer 1

一个解决方法是：

local/inputs1.csv :
    python copyfile.py "V:\\Server Path\\With Spaces\\Inputs 1.csv" $@
local/inputs2.csv :
    python copyfile.py "V:\\Server Path\\With Spaces\\Inputs 2.csv" $@

output.csv : combine_data.R | local/inputs1.csv local/inputs2.csv
    Rscript $^ $| $@

请注意，local/inputs1.csv 和 local/inputs2.csv 是仅用于订购的先决条件，因此它们仅在它们不存在时才会生成（除非您想在每次运行 makefile 时复制它们）。自动变量$| 指的是仅限订单的先决条件，它们不包含在$^ 中。