PS 脚本正在导出一个空的 CSV

Question

我很想了解为什么这个脚本没有按预期工作。这是一个简单的脚本，我尝试在其中导入 CSV，选择我想要的几列，然后导出 CSV 并复制自身。 （基本上我们已经存档了数据，由于内存大小限制，我只需要来自另一个项目的几列）。这个脚本非常简单，显然它与它在不起作用时引起的挫败感成反比......现在最终结果是我最终得到一个空的 csv 而不是只包含我选择的列的 csv使用 Select-Object。

$RootPath = "D:\SomeFolder"

$csvFilePaths = Get-ChildItem $RootPath -Recurse -Include *.csv | 
    ForEach-Object{
        Import-CSV $_ |
        Select-Object Test_Name, Test_DataName, Device_Model, Device_FW, Data_Avg_ms, Data_StdDev | 
        Export-Csv $_.FullName -NoType -Force
}

Answer 1

除非您将输入文件预先完整地读入内存，否则您无法在给定管道中安全地读取和写回同一文件。 p>

具体来说，Import-Csv file.csv | ... | Export-Csv file.csv 之类的命令会擦除file.csv 的内容。

最简单的解决方案是将读取输入文件的命令括在(...)中，但请注意：

• 文件的内容（转换为对象）必须适合整个内存。

• 如果在所有（转换的）对象都写回文件之前中断管道，则存在数据丢失的轻微风险。

应用于您的命令：

$RootPath = "D:\SomeFolder"

Get-ChildItem $RootPath -Recurse -Include *.csv -OutVariable csvFiles | 
    ForEach-Object{
        (Import-CSV $_.FullName) | # NOTE THE (...)
          Select-Object Test_Name, Test_DataName, Device_Model, Device_FW, 
                        Data_Avg_ms, Data_StdDev | 
            Export-Csv $_.FullName -NoType -Force
}

请注意，我使用-OutVariable csvFiles 来收集输出变量$csvFiles 中的CSV 文件信息对象。您尝试通过$csvFilePaths = ... 收集文件路径不起作用，因为它尝试收集Export-Csv 的 输出，但Export-Csv 不产生任何输出。

另外，为了安全起见，我已将 Import-Csv 参数从 $_ 更改为 $_.FullName 以确保 Import-Csv 找到输入文件（因为遗憾的是，文件信息对象 $_ 已绑定作为一个字符串，有时会扩展为仅仅是文件名）。

---

更安全的解决方案是首先输出到临时文件，并且（仅）在成功完成后替换原始文件。

无论采用哪种方法，替换文件都将具有默认文件属性和权限；如果原始文件具有您想要保留的特殊属性和/或权限，您必须明确地重新创建它们。

Answer 2

正如 Matt 所评论的，您的最后一个 $PSItem ($_) 不再与 Get-ChildItem 相关，而是与没有 FullName 属性的 Select-Object cmdlet 相关

您可以使用不同的 foreach 方法：

$RootPath = "D:\SomeFolder"
$csvFilePaths = Get-ChildItem $RootPath -Recurse -Include *.csv

foreach ($csv in $csvFilePaths)
{
Import-CSV $csv.FullName |
Select-Object Test_Name,Test_DataName,Device_Model,Device_FW,Data_Avg_ms,Data_StdDev | 
Export-Csv $csv.FullName -NoType -Force
}

或者保留您的代码，添加包含 csv 路径的 $CsvPath 变量并稍后使用它：

$RootPath = "D:\SomeFolder"
Get-ChildItem $RootPath -Recurse -Include *.csv | ForEach-Object{
$CsvPath = $_.FullName
Import-CSV $CsvPath |
Select-Object Test_Name,Test_DataName,Device_Model,Device_FW,Data_Avg_ms,Data_StdDev | 
Export-Csv $CsvPath -NoType -Force
}

Answer 3

所以我想通了。我试图直接通过 Import-Csv cmdlet 进行管道传输，而不是在 o.g. 中将其声明为变量。代码。这是代码 sn-p 可以完成我想要完成的工作。我之前试图直接在 Import-Csv cmdlet 中进行管道传输，我只需要声明一个使用 Import-Csv cmdlet 作为其定义的变量，然后将该变量通过管道传递给 Select-Object，然后是 Export-Csv cmdlet。谢谢大家的帮助，不胜感激！

$RootPath = "\someDirectory\"
$CsvFilePaths = @(Get-ChildItem $RootPath -Recurse -Include *.csv)
$ColumnsWanted = @('Test_Name','Test_DataName','Device_Model','Device_FW','Data_Avg_ms','Data_StdDev')
for($i=0;$i -lt $CsvFilePaths.Length; $i++){
  $csvPath = $CsvFilePaths[$i]
  Write-Host $csvPath
  $importedCsv = Import-CSV $csvPath 
  $importedCsv | Select-Object $ColumnsWanted | Export-CSV $csvPath -NoTypeInformation
}