Python多个正则表达式清理文件

Question

前言

我已经有一段时间没有使用 python 了，所以我在数据清理方面遇到了问题。 在记事本++中运行速度非常慢，所以我正在寻找更有效的python选项。

我需要什么

我需要清理一个目录中的 100 多个文件，所有这些文件都是从 SAP 中手动提取的。

我正在寻找的步骤：

1. 删除第一行-----
2. 删除第三行-----
3. 从每行删除第一个和最后一个字符|
4. 在需要的地方删除空格 - 我需要在文本之间保留它们

原始文件

---------------------------------------------------------------------------
|  MANDT|BUKRS|NETWR     |UMSKS|UMSKZ|AUGDT     |AUGBL|ZUONR              |
---------------------------------------------------------------------------
|  100  |1000 |23.321-   |     |     |          |     |TEXT I WANT TO KEEP|
|  100  |1000 |0.12      |     |     |          |     |TEXT I WANT TO KEEP|
|  100  |1500 |90        |     |     |          |     |TEXT I WANT TO KEEP|
---------------------------------------------------------------------------

预期结果

MANDT|BUKRS|NETWR|UMSKS|UMSKZ|AUGDT|AUGBL|ZUONR
100|1000|23.321-|||||TEXT I WANT TO KEEP
100|1000|0.12|||||TEXT I WANT TO KEEP
100|1500|90|||||TEXT I WANT TO KEEP

---

代码here 是我正在尝试使用的代码，但我需要正则表达式组合方面的帮助。在记事本++ 中，我可以使用\h+(\w+)\h+ 并替换\1，但在这里它不起作用。请帮我建立一个合适的正则表达式。

Answer 1

两种方法：

-- 使用内置的str 对象函数：

with open('yourfile.txt', 'r') as f:
    lines = f.read().splitlines()     # getting list of lines
    for l in lines:
        if not l.startswith('---'):   # skip dashed lines
            print('|'.join(map(str.strip, l.strip('|').split('|'))))

---

--使用re.sub()函数：

with open('yourfile.txt', 'r') as f:
    lines = f.read().splitlines()
    for l in lines:
        if not l.startswith('---'):
            print(re.sub(r'\|\s*|\s*\|', '|', l).strip('|'))
            # an auxiliary pattern for complex cases:
            # re.sub(r'\|\s*(\S*)\s*(?=\|)', '|\\1', l).strip('|')

---

输出：

MANDT|BUKRS|NETWR|UMSKS|UMSKZ|AUGDT|AUGBL|ZUONR
100|1000|23.321-|||||TEXT I WANT TO KEEP
100|1000|0.12|||||TEXT I WANT TO KEEP
100|1500|90|||||TEXT I WANT TO KEEP

---

读/写模式：

要使用新内容覆盖当前文件，请使用以下方法：

with open('yourfile.txt', 'r+') as f:   # 'r+' - read/write mode
    lines = f.read().splitlines()
    f.seek(0)      # reset file pointer
    f.truncate()   # truncating file contents
    for l in lines:
        if not l.startswith('---'):
            # or f.write('|'.join(map(str.strip, l.strip('|').split('|'))) + '\n')
            f.write(re.sub(r'\|\s*|\s*\|', '|', l).strip('|') + '\n')

Answer 2

前言

假设您所有的文件都采用相同的格式，您可以简单地使用正则表达式替换。

回答

您可以在 regex101 here 上查看此使用情况

说明

这个正则表达式[\t ]|-{2,}\s*|^\||\|$ 将：

1. 捕获所有制表符或空格字符
2. 捕获所有- 字符，其中两个这样的字符相互跟随（以及任何后面的空白字符）
3. 捕获所有以| 字符开头的行
4. 捕获所有以| 字符结尾的行

请注意，您必须确保全局 g 和多行 m 修饰符处于活动状态。

---

代码

您的最终代码应如下所示：

import re

regex = r"[\t ]|-{2,}\s*|^\||\|$"

subst = ""

result = re.sub(regex, subst, test_str, 0, re.MULTILINE)

if result:
    print (result)

其中test_str 包含文件的内容（如下所示）

---------------------------------------------------------------------------
|  MANDT|BUKRS|NETWR     |UMSKS|UMSKZ|AUGDT     |AUGBL|ZUONR              |
---------------------------------------------------------------------------
|  100  |1000 |23.321-   |     |     |          |     |TEXT I WANT TO KEEP|
|  100  |1000 |0.12      |     |     |          |     |TEXT I WANT TO KEEP|
|  100  |1500 |90        |     |     |          |     |TEXT I WANT TO KEEP|
---------------------------------------------------------------------------

输出

MANDT|BUKRS|NETWR|UMSKS|UMSKZ|AUGDT|AUGBL|ZUONR
100|1000|23.321-|||||TEXTIWANTTOKEEP
100|1000|0.12|||||TEXTIWANTTOKEEP
100|1500|90|||||TEXTIWANTTOKEEP

---

编辑

回答

您可以在 regex101 here 上查看此使用情况

说明

(?:^\|[\t ]*)|(?:[\t ]*\|$)|(?:(?<=\|)[\t ]*)|(?:[\t ]*(?=\|))|(?:-{2,}\s*)

上面的正则表达式将：

1. 捕捉|（仅在行首）后跟任意数量的制表符或空格字符
2. 捕捉任意数量的制表符或空格字符，后跟|（仅在行尾）
3. 捕捉| 后面的任意数量的制表符或空格字符
4. 捕捉| 前面的任意数量的制表符或空格字符
5. 捕获所有- 字符，其中两个此类字符相互跟随（以及任何后续空白字符）

请注意，您必须确保全局 g 和多行 m 修饰符处于活动状态。

---

代码

您的最终代码应如下所示：

import re

regex = r"(?:^\|[\t ]*)|(?:[\t ]*\|$)|(?:(?<=\|)[\t ]*)|(?:[\t ]*(?=\|))|(?:-{2,}\s*)"

subst = ""

result = re.sub(regex, subst, test_str, 0, re.MULTILINE)

if result:
    print (result)

其中test_str 包含文件的内容（如下所示）

---------------------------------------------------------------------------
|  MANDT|BUKRS|NETWR     |UMSKS|UMSKZ|AUGDT     |AUGBL|ZUONR              |
---------------------------------------------------------------------------
|  100  |1000 |23.321-   |     |     |          |     |TEXT I WANT TO KEEP|
|  100  |1000 |0.12      |     |     |          |     |TEXT I WANT TO KEEP|
|  100  |1500 |90        |     |     |          |     |TEXT I WANT TO KEEP|
---------------------------------------------------------------------------

输出

MANDT|BUKRS|NETWR|UMSKS|UMSKZ|AUGDT|AUGBL|ZUONR
100|1000|23.321-|||||TEXT I WANT TO KEEP
100|1000|0.12|||||TEXT I WANT TO KEEP
100|1500|90|||||TEXT I WANT TO KEEP

Answer 3

WRT 参考中的代码 sn-p，您可以使用以下模式：

REGEXES = [(re.compile(r'^[-\n]+',re.M), ''),
       (re.compile(r'([\s]+)?\|([\s]+)?'), '|')]