将一个文本文件文件夹合并为一个 CSV，其中每个内容都在一个单元格中

Question

我有一个包含数千个 .txt 文件的文件夹。我想根据以下模型将它们组合成一个大的 .csv：

我发现了一个 R 脚本应该完成这项工作 (https://gist.github.com/benmarwick/9265414)，但它显​​示了这个错误。

Error in read.table(file = file, header = header, sep = sep, quote = quote,  : duplicate 'row.names' are not allowed 

我不明白我的错误是什么。

不管怎样，我很确定没有 R 也有办法做到这一点。如果你知道一个非常优雅和简单的方法，那将不胜感激（并且对像我这样的很多人有用）

PRECISION : 文本文件是法语的，所以不是 ASCII。这是一个示例：https://www.dropbox.com/s/rj4df94hqisod5z/Texts.zip?dl=0

Answer 1

以下 python 脚本适用于我（其中path_of_directory 替换为您的文件所在目录的路径，output_file.csv 是您要创建/覆盖的文件的路径）：

#! /usr/bin/python

import os
import csv

dirpath = 'path_of_directory'
output = 'output_file.csv'
with open(output, 'w') as outfile:
    csvout = csv.writer(outfile)
    csvout.writerow(['FileName', 'Content'])

    files = os.listdir(dirpath)

    for filename in files:
        with open(dirpath + '/' + filename) as afile:
            csvout.writerow([filename, afile.read()])
            afile.close()

    outfile.close()

请注意，这假定目录中的所有内容都是一个文件。

Answer 2

可以使用 pathlib 稍微更紧凑地编写。

>>> import os
>>> os.chdir('c:/scratch/folder to process')
>>> from pathlib import Path
>>> with open('big.csv', 'w') as out_file:
...     csv_out = csv.writer(out_file)
...     csv_out.writerow(['FileName', 'Content'])
...     for fileName in Path('.').glob('*.txt'):
...         csv_out.writerow([str(fileName),open(str(fileName.absolute())).read().strip()])

此 glob 生成的项目提供对完整路径名和文件名的访问，因此不需要连接。

编辑：我检查了其中一个文本文件，发现阻碍处理的字符之一看起来像“fi”，但实际上这两个字符一起作为一个字符。鉴于此 csv 可能的实际用途，我建议进行以下处理，该处理忽略像那个奇怪的字符。我去掉了尾线，因为我怀疑这会使 csv 处理更加复杂，并且可能成为另一个问题的主题。

import csv
from pathlib import Path

with open('big.csv', 'w', encoding='Latin-1') as out_file:
    csv_out = csv.writer(out_file)
    csv_out.writerow(['FileName', 'Content'])
    for fileName in Path('.').glob('*.txt'):
        lines = [ ]
        with open(str(fileName.absolute()),'rb') as one_text:
            for line in one_text.readlines():
                lines.append(line.decode(encoding='Latin-1',errors='ignore').strip())
        csv_out.writerow([str(fileName),' '.join(lines)])

Answer 3

如果您的 txt 文件不是表格格式，您最好使用readLines()。这是在基础R 中执行此操作的一种方法：

setwd("~/your/file/path/to/txt_files_dir") 
txt_files <- list.files()
list_of_reads <- lapply(txt_files, readLines)
df_of_reads <- data.frame(file_name = txt_files, contents = do.call(rbind, list_of_reads))
write.csv(df_of_reads, "one_big_CSV.csv", row.names = F)