如果文件的下一行包含一个字符串，则将其附加到当前行的末尾

Question

我有一个包含 1300 万行的 CSV。数据没有引用封装，它包含换行符，这导致一行数据有换行符。数据每行没有多个断点，只有一个。

我将如何获取这样的数据？

Line of data
Line of data
 continuation of previous line of data
Line of data
Line of data
 continuation of previous line
Line of data

然后把它变成这样：

Line of data
Line of data continuation of previous line of data
Line of data
Line of data continuation of previous line
Line of data

我已经通过将行存储在一个变量中并处理下一个来测试这一点，寻找第一个字符不是“L”，然后附加它。我也尝试过使用f.tell() 和f.seek() 在文件中移动，但我无法让它工作。

Answer 1

假设每次以空格开头的行都应该与前一行连接，这应该有效：

with open(data) as infile:
    previous_line = None
    for line in infile:
        if previous_line is None:
            previous_line = line
        if line.startswith(' '):
            line = previous_line.strip() + line
        previous_line = line
        print(line.strip())

Answer 2

这是一个便宜的，合理有效的延续线连接器。

def cont_lines(source):
    last_line = ''
    for line in source:
        if line.startswith(' '):
            last_line += line.lstrip()  # append a continuation
        else:
            if last_line:
                yield last_line
            last_line = line
    if last_line:  # The one remaining as the source has ended.
        yield last_line

这样使用：

with open("tile.csv") as f:
  for line in cont_lines(f):
     # do something with line

它只使用与文件中最长的连续行集一样多的内存。

Answer 3

我能够解决一些问题。

infile = "test.txt"
def peek_line(f):
    pos = f.tell()
    line = f.readline()
    f.seek(pos)
    return line

f = open(infile, 'r')
while True:
    line = f.readline()
    if not line:
        break
    peek = peek_line(f)
    if not peek.startswith('T'):
        line = (line.strip() + f.readline())
    print line,

我愿意接受有关此方法的反馈。