使用多个分隔符拆分文本

Question

需要建议。考虑以下带有文本段落的示例文件。

1
Lorem ipsum dolor sit amet, cum at doming urbanitas mnesarchum. Eum ad paulo inermis. Iuvaret minimum mnesarchum ad mei. Dolores placerat pro ex.

Vel zril facete utamur et. Id dicam fuisset contentiones mea, vidisse sapientem consequuntur his ex. Vivendum liberavisse ut usu, mel habeo postea disputationi id. 
Timeam aliquid nec no, ex duo option dolorum appareat. Ut tota interesset vim, ne graeci principes sea. Mel et postulant repudiare, eos an populo appareat, 
qui placerat iudicabit instructior at. Qui sint malis an.


1 
2
Ne mutat putant omnium eos, cu duo malis molestie reprehendunt. Te duo adhuc posse graecis, inermis mediocrem sed te. 
Eam cu latine eruditi electram, populo nemore suscipit vim ei, hinc reformidans voluptatibus pri te. Ut suas sanctus epicurei eam, 
legimus luptatum ei duo. No mel recteque scriptorem referrentur, ne mel duis cetero consequat, id possit offendit mel.
2
3

3
4

Eu usu tamquam docendi, eum at facer semper sententiae, veritus deserunt ei vis. Id albucius insolens mea, sea ad amet nibh. 
Sed id epicuri luptatum liberavisse, mei etiam scripta no. Quod detracto ei qui, imperdiet posidonium in eos. 
4
:
:
N
:
N

这里的分隔符是段落本身的序列号。

（即）

[Line Break]Number[Line Break]Passage[Line Break]Number[Line Break]

我可以通过哪些方法/方式更快地将这些段落拆分为单独的文件，而不是逐行迭代它们。

虽然我现在正在使用 C# 和 SQL，但我也听说 Phyton 在这些类型的操作中要快得多。所以我也可以尝试任何其他选项。

编辑： 为了清楚起见，我将它们作为文本段落作为示例。这些段落是其他模块的实际说明/输入。更清楚地说，这些段落将包含数字。

Answer 1

这对于正则表达式来说是一项很好的工作。你可以这样做：

Regex regex = new Regex(@"(\b[0-9]+\b)(.*?)(\1)",RegexOptions.Singleline);
string s = ...
var result = regex.Matches(s)
                  .Cast<Match>()
                  .Select(m => m.Groups[2].Value.Trim(Environment.NewLine.ToCharArray()))
                  .ToList();

• (\b[0-9]+\b)：匹配一个单词边界，然后匹配任何数字后跟一个单词边界（防止数字在文本中间匹配，在第一段添加“1 1 1”，结果保持不变）
• (.*?)：以非贪婪的方式匹配任何字符
• (\1)：匹配开头捕获的数字（为了安全起见，捕获在段落中的任何随机数处停止的可能性较小）

Demo

结果将获取第二组 (.*?) 捕获的字符串，并从开头和结尾修剪换行符。

这将给出一个带有元素的List<string>：

result[0]:

“Lorem ipsum dolor sit amet, cum at doming urbanitas mnesarchum. Eum ad paulo inermis. Iuvaret minimum mnesarchum ad mei. Dolores placerat pro ex.

Vel zril facete utamur 等。 Id dicam fuisset contentiones mea, vidisse sapientem consequuntur 他的前任。 Vivendum liberavisse ut usu, mel habeo postea disputationi id。 Timeam aliquid nec no，ex duo option dolorum appareat。 Ut tota interesset vim, ne graeci principes sea。 Mel et postulant repudiare, eos an populo appareat, qui placerat iudicabit 讲师在。 Qui sint malis an。”

result[1]:

Ne mutat putant omnium eos，cu duo malis molestie reprehendunt。 Te duo adhuc posse graecis, inermis mediocrem sed te。 Eam cu latin eruditi electroram，populo nemore suscipit vim ei，hinc Reformidans voluptatibus pri te。 Ut suas sanctus epicurei eam, legimus luptatum ei duo。 No mel recteque scriptorem referrentur, ne mel duis cetero consequat, id possit offendit mel。

等等……

编辑：

如果您想过滤掉空段落，您可以在选择后执行.Where(str => !String.IsNullOrEmpty(str))。那么你只会得到 3 个结果。

Answer 2

你是从文件还是数据库中读取这个？无论如何，如果这将存储在一个字符串中，那么您可以使用 split 方法：

String.Split Method

Answer 3

您可以使用Regex.Split 按模式进行拆分。如果段落中没有数字，可以使用“[0-9]+”。

var passages = Regex.Split(text, "[0-9]+");

Answer 4

在 Python 中，你可以很容易地做到这一点：

lines = filter(None, map(lambda l: l.strip(), open('text_file', mode='r').readlines()))
map(lambda item: open(item[0], 'w').write(item[1]), [lines[i:i + 2] for i in range(0, len(lines), 2)])

第一行将所有内容读取到一个字符串列表中，如下所示： ['1', '第 1 段文本', '2', '第 2 段文本', '3', '第 3 段文本', ...]

第 2 行取列表中的每 2 个元素，并使用第一个元素作为文件索引，将第二个元素作为要写入文件的文本。

希望这会有所帮助。