使用 PowerShell 将多个 CSV 文件合并为一个

Question

您好，我正在寻找将目录中的所有 csv 文件合并到一个文本文件 (.txt) 的 powershell 脚本。所有 csv 文件都具有相同的标题，该标题始终存储在每个文件的第一行中。所以我需要从第一个文件中获取标题，但在其余文件中，应该跳过第一行。 我能够找到完全符合我需要的批处理文件，但我在一个目录中有 4000 多个 csv 文件，完成这项工作需要超过 45 分钟。

@echo off
ECHO Set working directory
cd /d %~dp0
Deleting existing combined file
del summary.txt
setlocal ENABLEDELAYEDEXPANSION
set cnt=1
for %%i in (*.csv) do (
 if !cnt!==1 (
 for /f "delims=" %%j in ('type "%%i"') do echo %%j >> summary.txt
) else (
 for /f "skip=1 delims=" %%j in ('type "%%i"') do echo %%j >> summary.txt
 )
 set /a cnt+=1
 )

有什么建议可以创建比这个批处理代码更高效的 p​​owershell 脚本吗？

谢谢。

约翰

Answer 1

如果您追求单线，您可以将每个 csv 传输到 Import-Csv，然后立即将其传输到 Export-Csv。这将保留初始标题行并排除剩余的文件标题行。它还将一次处理每个 csv，而不是将它们全部加载到内存中，然后将它们转储到合并的 csv 中。

Get-ChildItem -Filter *.csv | Select-Object -ExpandProperty FullName | Import-Csv | Export-Csv .\merged\merged.csv -NoTypeInformation -Append

Answer 2

这会将所有文件附加在一起，一次一个地读取它们：

get-childItem "YOUR_DIRECTORY\*.txt" 
| foreach {[System.IO.File]::AppendAllText
 ("YOUR_DESTINATION_FILE", [System.IO.File]::ReadAllText($_.FullName))}

# Placed on seperate lines for readability

如果您需要，这将在每个文件条目的末尾放置一个新行：

get-childItem "YOUR_DIRECTORY\*.txt" | foreach
{[System.IO.File]::AppendAllText("YOUR_DESTINATION_FILE", 
[System.IO.File]::ReadAllText($_.FullName) + [System.Environment]::NewLine)}

跳过第一行：

$getFirstLine = $true

get-childItem "YOUR_DIRECTORY\*.txt" | foreach {
    $filePath = $_

    $lines =  $lines = Get-Content $filePath  
    $linesToWrite = switch($getFirstLine) {
           $true  {$lines}
           $false {$lines | Select -Skip 1}

    }

    $getFirstLine = $false
    Add-Content "YOUR_DESTINATION_FILE" $linesToWrite
    }

Answer 3

试试这个，它对我有用

Get-Content *.csv| Add-Content output.csv

Answer 4

这在 PowerShell 中非常简单。

$CSVFolder = 'C:\Path\to\your\files';
$OutputFile = 'C:\Path\to\output\file.txt';

$CSV = Get-ChildItem -Path $CSVFolder -Filter *.csv | ForEach-Object { 
    Import-Csv -Path $_
}

$CSV | Export-Csv -Path $OutputFile -NoTypeInformation -Force;

这种方法的唯一缺点是它会解析每个文件。它还将所有文件加载到内存中，因此如果我们谈论的是 4000 个文件，每个文件 100 MB，那么您显然会遇到问题。

使用System.IO.File 和System.IO.StreamWriter 可能会获得更好的性能。

Answer 5

您的批处理文件效率很低！试试这个（你会感到惊讶:)

@echo off
ECHO Set working directory
cd /d %~dp0
ECHO Deleting existing combined file
del summary.txt
setlocal
for %%i in (*.csv) do set /P "header=" < "%%i" & goto continue
:continue

(
   echo %header%
   for %%i in (*.csv) do (
      for /f "usebackq skip=1 delims=" %%j in ("%%i") do echo %%j
   )
) > summary.txt

这是一项改进

1. for /f ... in ('type "%%i"') 需要加载并执行 cmd.exe 以执行 type 命令，将其输出捕获到一个临时文件中，然后从中读取数据，这是通过每个输入文件完成的。 for /f ... in ("%%i") 直接从文件中读取数据。
2. >> 重定向打开文件，在末尾附加数据并关闭文件，这是通过每个输出 *line* 完成的。 > 重定向使文件始终保持打开状态。

Answer 6

这是一个同样使用 System.IO.File 的版本，

$result = "c:\temp\result.txt"
$csvs = get-childItem "c:\temp\*.csv" 
#read and write CSV header
[System.IO.File]::WriteAllLines($result,[System.IO.File]::ReadAllLines($csvs[0])[0])
#read and append file contents minus header
foreach ($csv in $csvs)  {
    $lines = [System.IO.File]::ReadAllLines($csv)
    [System.IO.File]::AppendAllText($result, ($lines[1..$lines.Length] | Out-String))
}

Answer 7

如果您需要递归扫描文件夹，则可以使用以下方法

Get-ChildItem -Recurse -Path .\data\*.csv  | Get-Content | Add-Content output.csv

这基本上是：

• Get-ChildItem -Recurse -Path .\data\*.csv递归查找请求的文件
• Get-Content 获取每个内容
• Add-Content output.csv 将其附加到 output.csv

Answer 8

我发现以前的解决方案在性能方面对于大型 csv 文件效率很低，所以这里有一个高性能替代方案。

这是一个简单地附加文件的替代方法：

cmd /c copy  ((gci "YOUR_DIRECTORY\*.csv" -Name) -join '+') "YOUR_OUTPUT_FILE.csv" 

此后，您可能希望摆脱多个 csv-headers。

Answer 9

Get-ChildItem *.csv|select -First 1|Get-Content|select -First 1|Out-File -FilePath .\input.csv -Force #Get the header from one of the CSV Files, write it to input.csv
Get-ChildItem *.csv|foreach {Get-Content $_|select -Skip 1|Out-File -FilePath .\Input.csv -Append} #Get the content of each file, excluding the first line and append it to input.csv

Answer 10

以下批处理脚本非常快。只要您的 CSV 文件不包含制表符，并且所有源 CSV 文件的行数少于 64k，它就应该可以正常工作。

@echo off
set "skip="
>summary.txt (
  for %%F in (*.csv) do if defined skip (
    more +1 "%%F"
  ) else (
    more "%%F"
    set skip=1
  )
)

限制的原因是MORE将制表符转换为一系列空格，重定向的MORE在64k行处挂起。

Answer 11

stinkyfriend's helpful answer 展示了一个基于Import-Csv 和Export-Csv 的优雅、PowerShell 惯用的解决方案。

很遗憾，

• 它非常缓慢，因为它最终涉及到对象的不必要的往返转换。

• 此外，即使对于 CSV 解析器而言，文件的特定格式可能会在此过程中改变，因为Export-Csv 双引号 > 所有列值，始终在 Windows PowerShell 中，默认情况下在 PowerShell (Core) 7+ 中，其中现在通过-UseQuotes 和-QuoteFields 提供选择加入控制。

当性能很重要时，纯文本解决方案是必需的，这也避免了任何无意的格式更改（就像链接的答案一样，它假设所有输入 CSV 文件都有相同的列结构）。

以下PSv5+解决方案：

• 使用Get-Content -Raw 将每个输入文件的内容完整读入内存（这比默认的逐行读取要快得多） ,
• 使用基于正则表达式的-replace operator，跳过带有-replace '^.+\r?\n' 的第一个文件以外的所有文件的标题行，
• 并使用Set-Content-NoNewLine将结果保存到目标文件。

字符编码警告：

• PowerShell 从不保留文件的输入字符编码，因此您可能必须使用-Encoding 参数来覆盖Set-Content 的默认编码（同样适用于Export-Csv 和任何其他文件写入cmdlet；在PowerShell (Core) 7+ 所有 cmdlet 现在始终默认为无 BOM 的 UTF-8；但不仅 Windows PowerShell cmdlet 不默认为 UTF-8，它们还使用 不同的编码 - 请参阅this answer 的底部）。

# Determine the output file and remove a preexisting one, if any.
$outFile = 'summary.csv'
if (Test-Path $outFile) { Remove-Item -ErrorAction Stop $outFile }

# Process all *.csv files in the current folder and merge their contents,
# skipping the header line for all but the first file.
$first = $true
Get-ChildItem -Filter *.csv | 
  Get-Content -Raw | 
    ForEach-Object {
      $content = 
        if ($first) { # first file: output content as-is
          $_; $first = $false
        } else { # subsequent file: skip the header line.
          $_ -replace '^.+\r?\n'
        }
      # Make sure that each file content ends in a newline
      if (-not $content.EndsWith("`n")) { $content += [Environment]::NewLine }
      $content # Output
    } | 
      Set-Content -NoNewLine $outFile # add -Encoding as needed.

Answer 12

#Input path
$InputFolder = "W:\My Documents\... input folder"
$FileType    = "*.csv"

#Output path
$OutputFile  = "W:\My Documents\... some folder\merged.csv"

#Read list of files
$AllFilesFullName = @(Get-ChildItem -LiteralPath $InputFolder -Filter $FileType | Select-Object -ExpandProperty FullName)

#Loop and write 
Write-Host "Merging" $AllFilesFullName.Count $FileType "files."
foreach ($FileFullName in $AllFilesFullName) {
    Import-Csv $FileFullName | Export-Csv $OutputFile -NoTypeInformation -Append
    Write-Host "." -NoNewline
}

Write-Host
Write-Host "Merge Complete"

Answer 13

$pathin = 'c:\Folder\With\CSVs'
$pathout = 'c:\exported.txt'
$list = Get-ChildItem -Path $pathin | select FullName
foreach($file in $list){
    Import-Csv -Path $file.FullName | Export-Csv -Path $pathout -Append -NoTypeInformation
}

Answer 14

输入 *.csv >> 文件夹\combined.csv