主机文件为所有服务器创建一个唯一文件

Question

我有很多主机文件。我从所有服务器收集它们并将它们放在 host_files.txt 中，然后我必须为所有服务器制作一个主机文件。

我执行此命令是为了创建一个唯一的文件，但有些行共享相同的 IP 地址或主机名。

awk '!a[$0]++' host_files.txt

这是我的 host_files.txt

#backup server IPs
95.23.23.56
95.23.23.57 

#ftp server IPs
45.89.67.5 
45.89.67.3 

#apache
12.56.35.36 
12.56.35.35 

#ftp server IPs
95.23.23.50

#apache
12.56.35.37 

我想输出文件，但我需要保留注释行

#backup server IPs <= comment line, i need to keep them
95.23.23.56 
95.23.23.57 

#ftp server IPs <= comment line, i need to keep them
45.89.67.5 
45.89.67.3 
95.23.23.50

#apache <= comment line, i need to keep them
12.56.35.36
12.56.35.35 
12.56.35.37

我已经试过了：

sort -ur host_files.txt

cat host_files.txt | uniq > ok_host.txt

我需要没有#的ip只需要ip地址请帮助我

提前致谢

Answer 1

在 GNU awk 中使用多维数组：

$ awk '
/^#/ { k=$0; next }          # group within identical comments, k is key to hash
/./  { a[k][$1]=$0 }         # remove empty records and hash ips
END  { for(k in a) {         # after everything, output
           print k
           for(i in a[k]) 
               print a[k][i]
     }
}' file*
#apache
12.56.35.35 #apacheprivate
12.56.35.36 #apachepub
12.56.35.37 #apachepub
#ftp server IPs
45.89.67.3 #ftpssh
45.89.67.5 #ftpmain
95.23.23.50 #ftp
#backup server IPs
95.23.23.56 #masterbasckup
95.23.23.57 #agentbasckup

由于for(k in a)，输出是随机顺序的，即。评论组和组内的 ip 没有特定的顺序。

Answer 2

这适用于任何 awk：

$ cat tst.awk
/^#/ { key = $0; next }
NF && !seen[$0]++ {
    ips[key] = ips[key] $0 ORS
}
END {
    for (key in ips) {
        print key ORS ips[key]
    }
}

$ awk -f tst.awk file
#apache
12.56.35.36 #apachepub
12.56.35.35 #apacheprivate
12.56.35.37 #apachepub

#ftp server IPs
45.89.67.5 #ftpmain
45.89.67.3 #ftpssh
95.23.23.50 #ftp

#backup server IPs
95.23.23.56 #masterbasckup
95.23.23.57 #agentbasckup

由于使用in 运算符，输出顺序将是随机的，如果这是一个问题，只需更改几行代码即可。

Answer 3

如果不需要 awk。

#!/bin/ksh

cat host_files.txt | while read line ; do
    [[ $line =~ ^$ ]] && { continue; }              # skip empty lines
    [[ $line =~ ^# ]] && { group=$line; continue; } # remember the group name
    print "$group|$line"                            # print with group name in front
done | sort  \
    | while read line ; do
        if [[ ${line%\|*} != $last ]]; then         # if the group name changed
            print "\n${line%\|*}"                   #  print the group name
            last=${line%\|*}                        #  remember the new group name
        fi
        print "${line#*\|}"                         # print the entry without the group name
    done

• 将组名放在行前
• 排序
• 检测更改组名并打印出来
• 打印不带组名的条目

使用与 awk 相同的概念（避免 shell 中的 while 循环）。

awk '
    /^#/ { k=$0; next }
    /./  { print k "|" $0 }
' host_files.txt |   sort   | awk -F '|' '{
        if ( k != $1 ) { print "\n" $1; k = $1; }
        print $2
    }' -

因为它不使用数组，所以不会因为重复键而导致行松散。

而且，再想一想，第二个 awk 是可以避免的。将密钥添加到每一行。对于没有“x”的标题。所以标题排在其余部分之上。在输出中，只需删除添加的排序键。

awk '
    /^#/ { k=$0; print k "|" $0; next; }
    /./  { print k "x|" $0 }
' t18.dat  |   sort -u   | cut -d '|' -f 2