我的文件中有以下格式的数据
"123","XYZ","M","N","P,Q"
"345",
"987","MNO","A,B,C"
我总是希望行中有 5 个条目，所以如果 2 中的字段计数，则需要添加 3 个额外的 ("")。
"123","XYZ","M","N","P,Q"
"345","","","",""
"987","MNO","A,B,C","",""
我查看了页面上的解决方案
Add Extra Strings Based on count of fields- Sed/Awk
它有非常相似的要求，但是当我尝试时它失败了，因为我在字段中也有逗号 (,)。
谢谢。
【问题讨论】：
, 是错字吗？如果没有，其他字段也可以为空吗？
在 GNU awk 中使用您显示的示例，请尝试以下代码。
awk -v s1="\"" -v FPAT='[^,]*|"[^"]+"' '
BEGIN{ OFS="," }
FNR==NR{
nof=(NF>nof?NF:nof)
next
}
NF<nof{
val=""
i=($0~/,$/?NF:NF+1)
for(;i<=nof;i++){
val=(val?val OFS:"")s1 s1
}
sub(/,$/,"")
$0=$0 OFS val
}
1
' Input_file Input_file
说明：为上述添加详细说明。
awk -v s1="\"" -v FPAT='[^,]*|"[^"]+"' ' ##Starting awk program from here setting FPAT to csv file parsing here.
BEGIN{ OFS="," } ##Starting BEGIN section of this program setting OFS to comma here.
FNR==NR{ ##Checking condition FNR==NR here, which will be true for first time file reading.
nof=(NF>nof?NF:nof) ##Create nof to get highest NF value here.
next ##next will skip all further statements from here.
}
NF<nof{ ##checking if NF is lesser than nof then do following.
val="" ##Nullify val here.
i=($0~/,$/?NF:NF+1) ##Setting value of i as per condition here.
for(;i<=nof;i++){ ##Running loop till value of nof matches i here.
val=(val?val OFS:"")s1 s1 ##Creating val which has value of "" in it.
}
sub(/,$/,"") ##Removing ending , here.
$0=$0 OFS val ##Concatinate val here.
}
1 ##Printing current line here.
' Input_file Input_file ##Mentioning Input_file names here.
编辑： 在此处添加此代码，其中保留一个名为 nof 的变量，我们可以在其中给出字段值的数量，该值应在所有缺失的行中添加最少，如果任何行的字段值超过最小字段值，则将使用该值在缺少的字段行中添加那么多字段。
awk -v s1="\"" -v nof="5" -v FPAT='[^,]*|"[^"]+"' '
BEGIN{ OFS="," }
FNR==NR{
nof=(NF>nof?NF:nof)
next
}
NF<nof{
val=""
i=($0~/,$/?NF:NF+1)
for(;i<=nof;i++){
val=(val?val OFS:"")s1 s1
}
sub(/,$/,"")
$0=$0 OFS val
}
1
' Input_file Input_file
【讨论】：
这是一个awk 命令，它适用于任何版本的awk：
awk -v n=5 -v ef=',""' -F '","' '
{
sub(/,+$/, "")
for (i=NF; i<n; ++i)
$0 = $0 ef
} 1' file
"123","XYZ","M","N","P,Q"
"345","","","",""
"987","MNO","A,B,C","",""
【讨论】：
allef=sprintf("%*s",n-NF,""); gsub(/ /,ef,allref); $0=$0 allef 那样做，但除非你有一千个缺失字段，否则很难关心:-)！
这是一个使用FPAT 的 GNU awk，当 [你] 总是希望在行中有 5 个条目时：
$ awk '
BEGIN {
FPAT="([^,]*)|(\"[^\"]+\")"
OFS=","
}
{
NF=5 # set NF to limit too long records
for(i=1;i<=NF;i++) # iterate to NF and set empties to ""
if($i=="")
$i="\"\""
}1' file
输出：
"123","XYZ","M","N","P,Q"
"345","","","",""
"987","MNO","A,B,C","",""
【讨论】：
NF=5 实际上并没有为您做任何事情，除了为执行添加更多的工作/时间。只需去掉 NF=5 并创建循环 for(i=1;i<=5;i++) ，它会产生相同的输出但运行速度更快。
1 输出）当然可以用更长的{for(i=1;i<=5;i++){if($i=="")$i="\"\"";printf "%s%s",$i,(i==5?ORS:OFS)}} 代替，但我想保持代码简短，使用 3M 的 OP 数据记录，原始 NF=5 版本的运行速度提高了约 10%。
NF=5 会在少于 5 个的情况下添加字段，但如果超过 5 个，它会执行未定义的行为，尽管您已经在使用 FPAT 并且它会在 gawk 中执行您想要的操作。
使用perl，假设每个字段都被双引号：
$ perl -pe 's/,$//; s/$/q(,"") x (4 - s|","|$&|g)/e' ip.txt
"123","XYZ","M","N","P,Q"
"345","","","",""
"987","MNO","A,B,C","",""
# if the , at the end of line isn't present
$ perl -pe 's/$/q(,"") x (4 - s|","|$&|g)/e' ip.txt
"123","XYZ","M","N","P,Q"
"345","","","",""
"987","MNO","A,B,C","",""
s|","|$&|g 将搜索 "," 并将其替换回来。返回值是替换的数量，然后用于确定必须附加多少字段。
e 标志允许您在替换部分使用 Perl 代码。
q 运算符有助于为单引号字符串使用不同的分隔符。
这是另一种解决方案，它创建一个数组，然后在必要时添加空字段。
perl -lne '@f = /"[^"]+"|[^,]+/g; print join ",", @f, qw("") x (4 - $#f)'
/"[^"]+"|[^,]+/g 将字段定义为双引号字符串（内部没有双引号，因此转义引号不适用于此解决方案）或非 , 字符（至少一个，因此行尾的 , 将被忽略）。
qw("") x (4 - $#f) 确定要附加的额外字段。 qw("") 创建一个数组，其值为 "" 的单个元素，然后使用 x 运算符相乘。
【讨论】：
-a 进行自动拆分非常相似的答案，我想这是将您的 @f 创建为 @F 的另一种方法
这可能对你有用（GNU sed）：
sed ':a;s/"[^"]*"/&/5;t;s/$/,""/;ta' file
如果有 5 个字段，则退出。
否则，追加一个空字段并重复。
【讨论】：
另一种使用-a 进行自动拆分和-F 设置分隔符的perl 方式：
perl -lanF'/"*,*"/' -e 'print join ",", map "\"$_\"", @F[1..5]'
-F'/"*,*"/' - 这使用双引号的自动拆分分隔符，可选地以逗号和引号开头-a 使用该分隔符自动拆分为 @F
-l 为打印添加换行符，-n 将在不打印的情况下以流模式处理输入，除非明确告知map "\"$_\"", @F[1..5] 正好取 5 个字段，甚至是未定义的字段，并添加双引号print join ",", map ... 获取上面映射的结果，用逗号连接成一个字符串，然后打印（注意：因为每一行都以字段分隔符开头，所以我忽略了空的$F[0] 元素）
【讨论】：
,（这可能是 OP 的错字）。