查找并将制表符替换为 unix 文件中特定模式的空格，该文件以制表符分隔作为字段分隔符

Question

好的。标头可能会令人困惑，但要详细说明，我在 unix 中有一个文件，它已经是一个制表符分隔的文件，我正在尝试在其中进行 bcp。但问题出在其中一些随机值在其中包含制表符的列中。但实际上并非如此随机的。该列中的选项卡仅在双引号值内。这个额外的选项卡可以就在双引号之后，也可以就在双引号内的单词之前和之间。

所以我想将这些标签替换为空格。

例如

HAPPINESS       ALEXIS JORDAN   "HAPPINESS      "       CASH    024     Producer                ABRAMUS QUARTERLY       HAPPINESS       D658    Columbia        D658    Columbia        C283    Columbia Records Group  1Q15
HAPPINESS       ALEXIS JORDAN   "HAPPINESS      ALWAYS" CASH    024     Producer                ABRAMUS QUARTERLY       HAPPINESS       D658    Columbia        D658    Columbia        C283    Columbia Records Group  1Q15
HAPPINESS       DEADMAU5/ALEXIS JORDAN  "       HAPPINESS       "       CASH    024     Producer                ABRAMUS QUARTERLY       HAPPINESS       D658    Columbia        D658    Columbia        C283    Columbia Records Group  1Q15

请找到以上文本供您参考。 请帮忙。提前致谢。

Answer 1

考虑使用 Perl：

perl -pe 's{"\K(.*?)(?=")}{$1 =~ tr/\t/ /r}eg' filename

这会将正则表达式"\K(.*?)(?=") 匹配的所有内容替换为表达式$1 =~ tr/\t/ /r 的结果。 eg 修饰符是替换 globally 所必需的（如果一行中有多个带引号的字符串）和替换 expressions 评估。

注意事项：

• \K 之前的所有内容都必须存在才能使某些内容成为匹配，但使其实际上不是匹配的一部分。
• (?=") 是一个前瞻术语；如果后面跟着"，则匹配一个空字符串
• .*? 非贪婪匹配任何字符串，即采用最短匹配匹配而不是最长匹配

因此，正则表达式匹配" 和下一个" 之间的所有内容，并将其捕获为$1。替换子句中的表达式返回这个捕获的值，用空格替换制表符，它被硬塞到原来的字符串原来的位置。

Answer 2

您可以使用此gnu-awk 命令转换引号内的制表符：

awk -v FPAT='"[^"]+"|[^\t]+' '{for (i=1; i<=NF; i++) if ($i ~ /^"/)
       gsub(/\t/, "   ", $i)} 1' OFS='\t' file

FPAT='"[^"]+"|[^\t]+' 用双引号或用制表符分隔字段的输入。

给定样本的cat-vt 的输出：

awk -v FPAT='"[^"]+"|[^\t]+' '{for (i=1; i<=NF; i++) if ($i ~ /^"/) gsub(/\t/, "   ", $i)} 1' OFS='\t' file|cat -vt
HAPPINESS^IALEXIS^IJORDAN^I"HAPPINESS   "^ICASH^I024^IProducer^IABRAMUS^IQUARTERLY^IHAPPINESS^ID658^IColumbia^ID658^IColumbia^IC283^IColumbia^IRecords^IGroup^I1Q15
HAPPINESS^IALEXIS^IJORDAN^I"HAPPINESS   ALWAYS"^ICASH^I024^IProducer^IABRAMUS^IQUARTERLY^IHAPPINESS^ID658^IColumbia^ID658^IColumbia^IC283^IColumbia^IRecords^IGroup^I1Q15
HAPPINESS^IDEADMAU5/ALEXIS^IJORDAN^I"   HAPPINESS   "^ICASH^I024^IProducer^IABRAMUS^IQUARTERLY^IHAPPINESS^ID658^IColumbia^ID658^IColumbia^IC283^IColumbia^IRecords^IGroup^I1Q15