我有一个非常大的 txt 文件 (500GiB)，我想获取其唯一单词的数量。我试过this，但它似乎很慢，因为它确实排序：
grep -o -E '\w+' temp | sort -u -f | wc -l
有没有更好的方法？
【问题讨论】：
awk（将单词放入 awk 关联数组），看看是否足够快。如果没有，我会用 C++（或类似的东西）编写一个自定义程序。
awk 来救援！
$ awk -v RS=" " '{a[$0]++} END{for(k in a) sum++; print sum}' file
更新：
使用tr 进行预处理可能更好，让awk 经济地进行计数。您可能想用空格或换行符分隔单词。
例如：
$ tr ':;,?!\"' ' ' < file | tr -s ' ' '\n' | awk '!a[$0]++{c++} END{print c}'
【讨论】：
RS 设置为 " "（单个空格），您会错误地将行尾 \n 包含在每行的最后一个单词中，并且您还计算多个相邻空格之间的空词。
awk 脚本，但考虑到文件大小和性能问题，最好只使用 one tr 调用并在awk 中使用字段循环。另请注意，OP 希望不区分大小写。
tr 也快如闪电。如果所有唯一的单词都超出了内存可以容纳的范围，那么它可能是一个问题。
您可以依靠awk 的默认行为通过空格将行拆分为单词，并使用其关联数组：
awk '{ for (i=1; i<=NF; ++i) a[tolower($i)]++ } END { print length(a) }' file
更新：正如@rici 在评论中指出的那样，空格分隔的标记可能包含_ 和其他字符以外的标点符号，因此不一定与@ 相同987654324@ 的\w+ 构造。因此@4ae1e1 建议使用类似于'[^[:alnum:]_]' 的字段分隔符。请注意，这将导致连字词的每个组成部分都被单独计算；同样，' 分隔单词。
awk -F '[^[:alnum:]_]+' '{ for (i=1; i<=NF; ++i) { a[tolower($i)]++ } }
END { print length(a) - ("" in a) }' file
a 的构建方式是计算输入中遇到的每个不同单词的出现次数，首先转换为小写以忽略大小写差异 - 如果您不想忽略大小写差异，只需删除tolower() 电话。
tolower() 无法正常处理非 ASCII 字符。a 的元素数等于唯一单词数。
print length(a) 的符合 POSIX 的重新表述为：for (k in a) ++count; print count
上述内容适用于 GNU Awk、Mawk (1.3.4+) 和 BSD Awk，即使它严格不符合 POSIX（POSIX 定义 length 函数仅用于字符串，而不是数组）。
【讨论】：
\w 是 [_[:alnum]] iirc，所以我认为期望是“不！不？不，不。”将包含一个唯一的单词，而不是四个。
FS 设置为[^[:alnum:]]+，虽然I'm（实际上如果这是一个单词）和带有连字符的单词（可以将- 添加到char 类中，但仍然取决于是否有@ 987654341@ 没有被伪装成 em-dash 的空格包裹）那样会有问题。
'[^[:alnum:]_]+' 的解决方案（这也需要忽略空字段）并添加了一个注释。
END 块中简单检查a 中是否存在空字符串键优于检查每个输入字段 - 已更新。
排序的一个重要特性是它可以识别语言环境，因此在 C 以外的任何语言环境中都更昂贵。由于您并不真正关心这里的顺序，您不妨告诉 sort 忽略该语言环境通过使用LC_ALL=C sort -u -f。如果您的语言环境设置为其他设置，那可能会将您的执行时间缩短一半。
此答案的原始版本建议您仅在不关心非 ascii 字符时才应这样做。但是，如果您使用的是 Gnu coreutils，那么这些东西在 UTF-8 语言环境中都不起作用。虽然 gnu sort 将在任何区域设置中进行区域设置感知字符串比较（使用 strxfrm 标准库函数），但 sort -f 仅在单字节区域设置中进行区域设置感知大小写折叠。 Gnu uniq -i 有同样的问题。而tr 只翻译单字节字符（按设计，afaik）；理论上[:alpha:] 可以识别区域设置，但仅适用于可表示为单个字节的字符。
简而言之，如果要使用sort -u -f，不妨指定C 语言环境。对于非英文字母来说，这同样是破碎的，但至少破碎不会浪费时间。
Gnu awk 的 tolower() 函数显然适用于多字节语言环境。因此，如果您需要在 UTF-8 语言环境中工作，请查看 awk 答案之一。
【讨论】：