用于查找文件中每个字母的频率的 Bash 脚本答案

【问题标题】：Bash script to find the frequency of every letter in a file用于查找文件中每个字母的频率的 Bash 脚本
【发布时间】：2011-04-27 09:06:30
【问题描述】：

我试图找出输入文件中英文字母表中每个字母的出现频率。如何在 bash 脚本中执行此操作？

【问题讨论】：

【解决方案1】：

与上述 mouviciel 的回答类似，但对于 BSD 系统上使用的 Bourne 和 Korn shell 更通用，当您没有 GNU sed（它支持 \n 替换）时，您可以使用反斜杠转义换行符：

sed -e's/./&\
/g' file | sort | uniq -c | sort -nr

或者为了避免在屏幕上出现视觉分割，按 CTRL+V CTRL+J 插入文字换行符

sed -e's/./&\^J/g' file | sort | uniq -c | sort -nr

【讨论】：

【解决方案2】：

只有一个 awk 命令

awk -vFS="" '{for(i=1;i<=NF;i++)w[$i]++}END{for(i in w) print i,w[i]}' file

如果要不区分大小写，请添加tolower()

awk -vFS="" '{for(i=1;i<=NF;i++)w[tolower($i)]++}END{for(i in w) print i,w[i]}' file

如果你只想要字符，

awk -vFS="" '{for(i=1;i<=NF;i++){ if($i~/[a-zA-Z]/) { w[tolower($i)]++} } }END{for(i in w) print i,w[i]}' file

如果您只想要数字，请将 /[a-zA-Z]/ 更改为 /[0-9]/

如果您不想显示 unicode，请使用 export LC_ALL=C

【讨论】：

【解决方案3】：

我的解决方案使用grep、sort 和uniq。

grep -o . file | sort | uniq -c

忽略大小写：

grep -o . file | sort -f | uniq -ic

【讨论】：

【解决方案4】：

sed、sort 和 uniq 的解决方案：

sed 's/\(.\)/\1\n/g' file | sort | uniq -c

这会计算所有字符，而不仅仅是字母。你可以过滤掉：

sed 's/\(.\)/\1\n/g' file | grep '[A-Za-z]' | sort | uniq -c

如果你想将大写和小写视为相同，只需添加翻译：

sed 's/\(.\)/\1\n/g' file | tr '[:upper:]' '[:lower:]' | grep '[a-z]' | sort | uniq -c

【讨论】：

谢谢。这将大写和小写字符视为分开的。如何计算我们认为 A 和 a 相同的频率？
是的，这也很好用。我想知道如何计算概率，即频率/总和。我们需要再次将输出通过管道传递给 sed，但我无法弄清楚所涉及的正则表达式？
您可以添加一些wc、cut、dc、tee 和其他命令，但与可维护的工作相比，它更像是在处理盘子。我认为使用 perl 脚本添加更多功能会更容易。
非常感谢您的帮助。干杯。

【解决方案5】：

这是一个建议：

while read -n 1 c
do
    echo "$c"
done < "$INPUT_FILE" | grep '[[:alpha:]]' | sort | uniq -c | sort -nr

【讨论】：