使用批处理合并多个 .csv 文件时删除标题

Question

我已经编写了将示例文件连接到单个文件中的代码，减去每个文件的标题。

输入文件：

文件 1：

[ Row : Header ],,,,,,,,,
ContractNum,ProgramNum,CustomerNum,TierNum,StartDate,EndDate,DateCreated,CreatedBy,DateUpdated,UpdatedBy
00032116,21238,60304PRMI,3,2014-05-02,2017-09-30,Administrator,Administrator,2016-02-29 10:46:14,2016-02-29 10:46:14
00032116,21238,81790PRMI,3,2014-05-02,2017-09-30,Administrator,Administrator,2016-02-29 10:46:14,2016-02-29 10:46:14

文件 2：

[ Row : Header ],,,,,,,,,
ContractNum,ProgramNum,CustomerNum,TierNum,StartDate,EndDate,DateCreated,CreatedBy,DateUpdated,UpdatedBy
00024067,15562,9942PRMI,1,2014-09-16,2016-12-31,gintgUser,gintgUser,2016-02-21 05:59:43,2016-02-21 05:59:43

预期输出：

[ Row : Header ],,,,,,,,,
ContractNum,ProgramNum,CustomerNum,TierNum,StartDate,EndDate,DateCreated,CreatedBy,DateUpdated,UpdatedBy
00024067,15562,9942PRMI,1,2014-09-16,2016-12-31,gintgUser,gintgUser,2016-02-21 05:59:43,2016-02-21 05:59:43
00032116,21238,60304PRMI,3,2014-05-02,2017-09-30,Administrator,Administrator,2016-02-29 10:46:14,2016-02-29 10:46:14
00032116,21238,81790PRMI,3,2014-05-02,2017-09-30,Administrator,Administrator,2016-02-29 10:46:14,2016-02-29 10:46:14

实际输出：

[ Row : Header ],,,,,,,,,
ContractNum,ProgramNum,CustomerNum,TierNum,StartDate,EndDate,DateCreated,CreatedBy,DateUpdated,UpdatedBy
00024067,15562,9942PRMI,1,2014-09-16,2016-12-31,gintgUser,gintgUser,2016-02-21 05:59:43,2016-02-21 05:59:43
00032116,21238,60304PRMI,3,2014-05-02,2017-09-30,Administrator,Administrator,2016-02-29 10:46:14,2016-02-29 10:46:14
[ Row : Header ],,,,,,,,,
ContractNum,ProgramNum,CustomerNum,TierNum,StartDate,EndDate,DateCreated,CreatedBy,DateUpdated,UpdatedBy
00032116,21238,81790PRMI,3,2014-05-02,2017-09-30,Administrator,Administrator,2016-02-29 10:46:14,2016-02-29 10:46:14

请找到以下用于此操作的代码：

@echo off
break>Combined.csv
cls
setlocal enabledelayedexpansion

if exist C:\Users\kartikeya.avasthi\Desktop\Batch_Scripts\Combined.csv del C:\Users\kartikeya.avasthi\Desktop\Batch_Scripts\Combined.csv

dir /a-d /b C:\Users\kartikeya.avasthi\Desktop\Batch_Scripts\ContractEligibility_*.csv>C:\Users\kartikeya.avasthi\Desktop\Batch_Scripts\dirfiles.txt

cd C:\Users\kartikeya.avasthi\Desktop\Batch_Scripts\

for /f "tokens=*" %%A in (C:\Users\kartikeya.avasthi\Desktop\Batch_Scripts\dirfiles.txt) do (
    set /p header=<%%A
    if "!header!" neq "" (
        (echo(!header!)>Combined.csv
        goto :break_for
    )

)
:break_for

for /f "tokens=*" %%A in (C:\Users\kartikeya.avasthi\Desktop\Batch_Scripts\dirfiles.txt) do (
        more +1 %%A>>Combined.csv
   )

del dirfiles.txt
}

谁能帮我解决这个问题。我是批处理脚本的新手，无法调试此问题。

Answer 1

关于这个问题的几点说明：

• 此问题与Windows Batch file execution error 完全相同
• 这个问题有 4 个答案，其中一个是我的。
• 在我的回答中，我要求您发布一小部分数据文件，但您从未回复。
• 这是我对那个问题的回答的副本，在我稍作修改以插入问题的关键点后：标题包含两行：

编辑：我根据评论中发布的新规范修改了代码：每个文件中有三行的标题，但只有第三个必须包含在输出中。

@echo off
setlocal enabledelayedexpansion

cls

REM cd C:\Users\kartikeya.avasthi\Desktop\Batch_Scripts\

set "header3="
(for %%A in (*.csv) do (

   if not defined header3 (
      (set /p "header1=" & set /p "header2=" & set /p "header3=") <%%A
      echo !header3!
   )

   more +3 %%A

)) > Combined.txt

• 这是当这个程序使用上面的数据运行时生成的 Combined.txt 文件：

.

[ Row : Header ],,,,,,,,,
ContractNum,ProgramNum,CustomerNum,TierNum,StartDate,EndDate,DateCreated,CreatedBy,DateUpdated,UpdatedBy
00032116,21238,60304PRMI,3,2014-05-02,2017-09-30,Administrator,Administrator,2016-02-29 10:46:14,2016-02-29 10:46:14
00032116,21238,81790PRMI,3,2014-05-02,2017-09-30,Administrator,Administrator,2016-02-29 10:46:14,2016-02-29 10:46:14
00024067,15562,9942PRMI,1,2014-09-16,2016-12-31,gintgUser,gintgUser,2016-02-21 05:59:43,2016-02-21 05:59:43

如您所见，输出与您想要的相同。

编辑：我无法测试修改，因为发布的输入文件不包含与真实文件相同的数据...

• 您应该跟进您发布的问题，而不是发布与之前问题完全相同的新问题。
• 您应该更清楚地描述您的问题并发布示例数据。

Answer 2

不需要包含 CSV 文件列表的临时文件，您可以通过标准 for 循环和嵌套 for /F 循环读取和组合它们，使用其 skip 选项摆脱标题（假设标题始终是单行）。初始标头可以取自另一个在第一次迭代时被破坏的 for/for /F 循环构造：

> "C:\Users\kartikeya.avasthi\Desktop\Batch_Scripts\Combined.csv" (
    for %%F in ("C:\Users\kartikeya.avasthi\Desktop\Batch_Scripts\ContractEligibility_*.csv") do (
        for /F "usebackq eol=| delims=" %%L in ("%%~F") do (
            echo(%%L
            goto :LEAVE
        )
    )
)
:LEAVE
>> "C:\Users\kartikeya.avasthi\Desktop\Batch_Scripts\Combined.csv" (
    for %%F in ("C:\Users\kartikeya.avasthi\Desktop\Batch_Scripts\ContractEligibility_*.csv") do (
        for /F "usebackq skip=1 eol=| delims=" %%L in ("%%~F") do (
            echo(%%L
        )
    )
)

---

如果您需要 CSV 文件的特定排序顺序，则需要另一个 for /F 循环而不是标准的 for 循环来解析 dir /B 命令的输出来完成这项工作。以下示例采用两行标题，然后将文件从最旧到最新的修改日期排序：

> "C:\Users\kartikeya.avasthi\Desktop\Batch_Scripts\Combined.csv" (
    set "FLAG="
    for %%F in ("C:\Users\kartikeya.avasthi\Desktop\Batch_Scripts\ContractEligibility_*.csv") do (
        for /F "usebackq eol=| delims=" %%L in ("%%~F") do (
            echo(%%L
            if defined FLAG goto :LEAVE
            set "FLAG=#"
        )
    )
)
:LEAVE
>> "C:\Users\kartikeya.avasthi\Desktop\Batch_Scripts\Combined.csv" (
    for /F "eol=| delims=" %%F in ('
        dir /B /A:-D /O:D /T:W "C:\Users\kartikeya.avasthi\Desktop\Batch_Scripts\ContractEligibility_*.csv"
    ') do (
        for /F "usebackq skip=2 eol=| delims=" %%L in ("%%F") do (
            echo(%%L
        )
    )
)

Answer 3

如果您想安装awk - Unix/Linux 中最方便的程序之一 - 您的任务将变得非常简单。它适用于 Windows，来自 here。

那么你可以使用：

awk  'NR<3 || FNR>2'  *.csv

要解释该命令，您需要知道NR 是Number of the Record（即行号），它从第一个文件的第一条记录/行开始，然后随着每条记录递增，所以对于第一个文件的前两条记录，它将小于 3。另一方面，FNR 是 File Number of Record，它是相同的，但随着每个新文件的打开，它会重置为一个，因此每个文件的前两条记录将小于 2。

所以，总而言之，命令说... “如果它是所有输入文件的前两行之一，或者如果它超过任何文件的第 2 行，则打印任何行。 "

请注意，您可能需要在 Windows 上将单引号替换为双引号。

请注意，如果您要下载gawk，它的工作原理与本示例中的awk 相同。