Python：读取 .txt 文件而不将其内容放在字符串中

Question

我创建了一个包含模型训练数据的 .txt 文件。训练样本具有一定的结构，如下所示：

("sample sentence",
{"entities": [ ]})

我有 600 个需要放入 python 列表中。但是，当我使用file.readlines() 等进行“正常”python 读取时，我将所有示例导入为基本上如下的字符串：

'("sample sentence",'
'{"entities": [ ]})'

是什么使训练数据对模型无效。

所以我的问题是如何告诉 python 在没有任何字符串格式的情况下读取 .txt 文件，而是按原样读取它？

//编辑：

.txt 是一个包含训练数据的文件，该文件适合遵循 NER 注释方案的 spaCy 模型的训练过程。 spaCy 文档页面中带有 NER 注释方案的训练数据示例：

TRAIN_DATA = [
     ("Uber blew through $1 million a week", {'entities': [(0, 4, 'ORG')]}),
     ("Google rebrands its business apps", {'entities': [(0, 6, "ORG")]})]

我的 .txt 文件看起来完全像这样，除了在 .txt 文件的开头和结尾没有 [ ] 并且在其间换行。所以这个例子在我的 .txt 文件中看起来像这样：

("Uber blew through $1 million a week", 
{'entities': [(0, 4, 'ORG')]}),

("Google rebrands its business apps", 
{'entities': [(0, 6, "ORG")]})

Answer 1

我想出了以下内容。它适用于您的示例。试试看。

from ast import literal_eval
with open(file_name, 'r') as f:
  TRAIN_DATA = literal_eval('[' + ''.join(f.readlines()) + ']')

或

from ast import literal_eval
with open(file_name, 'r') as f:
  TRAIN_DATA = literal_eval('[' + f.read() + ']')

这会读取整个文件并在评估之前添加缺少的方括号。

Answer 2

您需要将字符串解释为 Python 对象。 如果没有更多关于文件结构的知识，我将假设它任意换行，并且数据对象之间除了换行符之外没有任何分隔符。

如果是这种情况，这段代码应该可以工作：

from ast import literal_eval
def iterate_objects(filename):
    cur_data = ""
    with open(filename, 'r') as f:
        for l in f.readlines():
            cur_data += l
            try:
                yield literal_eval(cur_data)
            except:
                continue

TRAIN_DATA = list(iterate_objects(your_filename))

它试图解释到目前为止累积的行，直到它成功，然后它产生对象并继续。

编辑

鉴于新的 .txt 文件示例，一个更简单的解决方案将起作用：

from ast import literal_eval
with open(filename, 'r') as f:
    TRAIN_DATA = list(literal_eval(f.read().replace('\n','')))

根据给定的 .txt 示例，输出 TRAIN_DATA 应该是所有数据对象的元组。