如何使用 bash 仅拆分文本文件的某些元素？

Question

我正在尝试弄清楚如何制作一个包含 ID 和基因的 .txt 文件 (myGeneFile.txt)，如下所示：

Probe Set ID    Gene Symbol
1007_s_at       DDR1 /// MIR4640
1053_at RFC2
117_at  HSPA6
121_at  PAX8
1255_g_at       GUCA1A
1294_at MIR5193 /// UBA7

进入这个：

DDR1
MIR4640
RFC2
HSPA6
PAX8
GUCA1A
MIR5193
UBA

首先我尝试这样做：

cat myGeneFile.txt | tail -n +2 | awk '{split($2,a,"///"); print a[1] "\t" a[2] "\t" a[3] "\t" a[4] "\t" a[5];}' > test.txt

（即，我删除了文件的顶部（标题）行，我尝试沿分隔符 /// 拆分第二行，然后打印任何可能出现的基因）

然后，我尝试这样做：

cat myGeneFile.txt | tail -n +2 | awk '{print $2}' | grep -o -E '\w+' > test.txt

（字面上列出第二列中的所有单词）

在这两种情况下，我得到了相同的输出 - 每行中只有第一个基因的长列表（例如，MIR4640 和 UBA7 缺失）

有什么想法吗？

---

编辑：感谢@CodeGnome 的帮助。我最终使用了该代码并对其进行了修改，因为我发现我的文件每行有 1 到 30 个不同的基因名称。所以，我用了：

awk 'NR == 1 {next}                                                                                                                                    
       {                                                                                                                                               
           sub("///", "")                                                                                                                              
           print $2 }                                                                                                                                  
           { for (i=3; i<=30; i++)                                                                                                                     
             if ($i) {print $i}                                                                                                                        
       }' myGeneFile.txt > test2.txt

@GlenJackson 也有一个非常有效的解决方案：

awk 'NR>1 {for (i=2; i<=NF; i++) if ($i != "///") print $i}' file

Answer 1

我的 awk 采取：

awk 'NR>1 {for (i=2; i<=NF; i++) if ($i != "///") print $i}' file

或sed

sed '
    1d                   # delete the header
    s/[[:blank:]]\+/ /g  # squeeze whitespace
    s/^[^ ]\+ //         # remove the 1st word
    s| ///||g            # delete all "///" words
    s/ /\n/g             # replace spaces with newlines
' file

Answer 2

在 AWK 操作中使用条件打印语句

以下通过使用 sub() 删除不需要的字符，然后使用多个打印语句创建换行符来提供所需的输出。第二个打印语句是有条件的，只有在第三个字段不为空时触发；这样可以避免在输出中创建多余的空行。

$ awk 'NR == 1 {next}
       {
           sub("///", "")
           print $2
           if ($3) {print $3}
       }' myGeneFile.txt
DDR1
MIR4640
RFC2
HSPA6
PAX8
GUCA1A
MIR5193
UBA7

Answer 3

这将起作用：

tail -n+2 tmp | sed -E 's/ +/ /' | cut -d' ' -f2- | sed 's_ */// *_\n_'

这是发生了什么：

1. tail -n+2 去掉标题
2. sed -E 's/ +/ /'压缩空格
3. cut -d' ' -f2- 使用 cut 选择除第一个以外的所有字段，使用单个空格作为分隔符
4. sed 's_ */// *_\n_' 将所有 ///（以及任何周围的空格）转换为换行符

您不需要初始的cat，通常最好将输入文件作为参数传递给第一个命令。如果您希望将文件名放在易于更改的位置，这是一个更好的选择，因为它避免了额外的过程（我发现如果文件在末尾更容易更改）：

(tail -n+2 | sed -E 's/ +/ /' | cut -d' ' -f2- | sed 's_ */// *_\n_') < tmp

Answer 4

鉴于现有的输入和修改后的要求（来自对 Morgen 答案的评论），以下应该做你想做的事情（对于任意数量的基因列）。

awk 'NR > 1 {
    p=0
    for (i = 2; i <= NF; i++) {
        if ($i == "///") {
            p=1
            continue
        }
        printf "%s%s\n", p?"n":"", $i
    }
}' input.txt

Answer 5

您选择输出哪些字符串的标准并不完全清楚，但这里有另一个命令至少可以产生您的预期输出：

tail -n +2 myGeneFile.txt | grep -oE '\<[A-Z][A-Z0-9]*\>'

它基本上只是 1) 跳过第一行和 2) 找到所有其他完全由大写字母或数字组成的单词（由非单词字符和/或行首/行尾分隔），第一个是字母.