如何从 shell 中的文本文件中选择随机的唯一行？

Question

我有一个行数未知的文本文件。我需要随机抓取其中一些行，但我不希望有任何重复的风险。

我试过这个：

jot -r 3 1 `wc -l<input.txt` | while read n; do
  awk -v n=$n 'NR==n' input.txt
done

但这很丑陋，并且不能防止重复。

我也试过这个：

awk -vmax=3 'rand() > 0.5 {print;count++} count>max {exit}' input.txt

但这显然也不是正确的方法，因为我什至不能保证得到max 行。

我被困住了。我该怎么做？

Answer 1

这可能对你有用：

shuf -n3 file

shuf 是 GNU coreutils 之一。

Answer 2

如果jot 在您的系统上，那么我猜您运行的是 FreeBSD 或 OSX 而不是 Linux，因此您可能没有像 rl 或 sort -R 这样的工具可用。

不用担心。我不得不在不久前这样做。试试这个：

$ printf 'one\ntwo\nthree\nfour\nfive\n' > input.txt
$ cat rndlines
#!/bin/sh

# default to 3 lines of output
lines="${1:-3}"

# default to "input.txt" as input file
input="${2:-input.txt}"

# First, put a random number at the beginning of each line.
while read line; do
  printf '%8d%s\n' $(jot -r 1 1 99999999) "$line"
done < "$input" |
sort -n |               # Next, sort by the random number.
sed 's/^.\{8\}//' |     # Last, remove the number from the start of each line.
head -n "$lines"        # Show our output

$ ./rndlines input.txt 
two
one
five
$ ./rndlines input.txt 
four
two
three
$

这是一个 1 行示例，它还使用 awk 更干净地插入了随机数：

$ printf 'one\ntwo\nthree\nfour\nfive\n' | awk 'BEGIN{srand()} {printf("%8d%s\n", rand()*10000000, $0)}' | sort -n | head -n 3 | cut -c9-

请注意，不同版本的sed（在 FreeBSD 和 OSX 中）可能需要 -E 选项而不是 -r 来处理 ERE，或者如果您想明确地使用正则表达式中的 BRE 方言，尽管一切我已经在 BRE 中测试了带有转义边界的作品。 （sed（HP/UX 等）的旧版本可能不支持这种表示法，但只有在您已经知道如何执行此操作的情况下才会使用这些表示法。）

Answer 3

如果您可以访问 Python（将 10 更改为您想要的）：

python -c 'import random, sys; print("".join(random.sample(sys.stdin.readlines(), 10)).rstrip("\n"))' < input.txt

（这将适用于 Python 2.x 和 3.x。）

另外，（再次将10 更改为适当的值）：

sort -R input.txt | head -10

Answer 4

这应该可以解决问题，至少对于 bash 并假设您的环境有其他可用命令：

cat chk.c | while read x; do
    echo $RANDOM:$x
done | sort -t: -k1 -n | tail -10 | sed 's/^[0-9]*://'

它基本上输出你的文件，在每一行的开头放置一个随机数。

然后它对该数字进行排序，抓取最后 10 行，并从中删除该数字。

因此，它会从文件中为您提供十个随机行，没有重复。

例如，下面是使用 chk.c 文件运行 3 次的记录：

====
pax$ testprog chk.c
} else {
}
newNode->next = NULL;
colm++;

====
pax$ testprog chk.c
}

arg++;
printf (" [%s] n", currNode->value);
free (tempNode->value);

====
pax$ testprog chk.c

char tagBuff[101];
}
return ERR_OTHER;
#define ERR_MEM 1

===
pax$ _

Answer 5

sort -Ru filename | head -5

将确保没有重复。并非所有sort 的实现都具有-R 选项。

Answer 6

使用 Perl 从 FILE 获取 N 随机行：

perl -MList::Util=shuffle -e 'print shuffle <>' FILE | head -N

Answer 7

如果您不想安装其他任何东西，这里有一个使用 ruby​​ 的答案：

cat filename | ruby -e 'puts ARGF.read.split("\n").uniq.shuffle.join("\n")' 

例如，给定一个文件 (dups.txt)，如下所示：

1 2
1 3
2
1 2
3
4
1 3
5
6
6
7

您可能会得到以下输出（或一些排列）：

cat dups.txt| ruby -e 'puts ARGF.read.split("\n").uniq.shuffle.join("\n")'
4
6
5
1 2
2
3
7
1 3

来自 cmets 的更多示例：

printf 'test\ntest1\ntest2\n' | ruby -e 'puts ARGF.read.split("\n").uniq.shuffle.join("\n")'
test1
test
test2

当然，如果你有一个包含重复测试行的文件，你只会得到一行：

printf 'test\ntest\ntest\n' | ruby -e 'puts ARGF.read.split("\n").uniq.shuffle.join("\n")'
test