查找包含另一个文件中所有单词/行的所有文件

Question

我打算直接说这是一个家庭作业问题，但我觉得我已经用尽了在线搜索与如何解决此问题相关的任何内容，或者我只是没有为 Google/正确措辞堆栈溢出。

问题的开头是这样的：文件 words 包含一个单词列表。每个单词都在单独的行上。文件 story1、story2、...、story100 是短篇小说。

这是一个多部分的问题，但最后一部分难倒我：找出包含文件 words 中所有单词的故事文件。

之前有一个类似的问题：从文件words中找出至少包含一个单词的故事文件（打印文件名）。

这个是我用 grep 解决的：

grep -l -f words story*

我的印象是我还必须使用 grep 来解决最后一个问题，但我似乎找不到 grep 的选项或任何只返回与模式文件中的所有内容匹配的文件的选项.看来我可能必须使用 shell 脚本来执行此操作，但不确定从哪里开始，或者我什至需要 grep 来完成此操作。有关如何解决此问题的任何指示？

谢谢！

编辑：

这些是教师给出的解决方案中的正确答案。

主要问题之前的问题： grep -l -f words story*

主要问题：

for story in `ls story*`
do
    (( match = 0 ))

    for word in `cat words`
    do
        if [ `grep -l $word $story` ]
        then
            (( match++ ))
        else
            break
        fi
    done

    if [ $match -eq `wc -w < words` ]
    then
        echo $story
    fi
done

感谢大家深思熟虑的意见和回答，很抱歉我迟到了一点。

Answer 1

# wcheck: finds story* files that contain all words in words file

# for each file named story... (in this directory)
for file in story*
do
    stGood=0  # story is intialized as containing words or true

    ## for each word in the words file
    for word in $(cat words) ; do

        ## if test using grep exit status for existance of word
        if ! grep -q -F $word $file
        then
            stGood=1 #if word is not found story is set to false
            break
        fi   
    done
    ## if story is still true then filename is printed
    if [ $stGood == 0 ]
        then
        echo $file
    fi
done
exit

Answer 2

蛮力方法可能不是最快的方法，但只要你没有 100,000 多个单词和故事，就可以了。基本上，您只需使用 grep 测试每个文件是否包含每个单词，一次一个。如果 grep 无法在故事中找到单词，请继续下一个故事。如果在story 中找到所有单词，则将story 添加到goodstories 数组中。最后，只需打印所有商品故事：

#!/bin/bash

declare -a words        # array containing all words
declare -a goodstories  # array contianing stories with all words

words=( `< /path/to/words` )    # fill words array

## for each stories file (assumed they exist in dir of their own)
for s in `find /path/to/stories/base/dir -type f` ; do

    wfound=0                    # all words found flag initialized to 'true'

    ## for each word in words
    for w in ${words[@]}; do

        ## test that word is in story, if not set wfound=1 break
        grep -q $w $s &>/dev/null || {

            wfound=1
            break

        }

    done

    ## if grep found all words, add story to goodstories array
    test "$wfound" -eq 0 && goodstories+=( $s )

done

## output your list of goodstories

if test "${#goodstories[@]}" -gt 0 ; then

    echo -e "\nStories that contained all words:\n"
    for s in ${goodstories[@]}; do

        echo "  $s"

    done

else

    echo "No stories contained all words"

fi

exit 0

注意：我没有创建文字或故事文件，因此如果您发现拼写错误等。请将该代码视为伪代码。然而，它也不仅仅是被拍打在一起......

Answer 3

假设您的 words 文件不包含 GNU awk for \<...\> 工作边界的 RE 元字符：

列出包含一个单词的文件：

awk '
NR==FNR { words["\\<" $0 "\\>"]; next }
{
    for (word in words) {
        if ($0 ~ word) {
            print FILENAME
            next
        }
    }
}
' words story*

列出包含所有单词的文件（GNU awk 用于另外的 ENDFILE、delete(array) 和 length(array)）：

awk '
NR==FNR { words["\\<" $0 "\\>"]; next }
{
    for (word in words) {
        if ($0 ~ word) {
            found[word]
        }
    }
}
ENDFILE {
    if ( length(found) == length(words) ) {
        print FILENAME
    }
    delete found
}
' words story*

Answer 4

如果您有一个 unique 单词列表要搜索，并且对于每个故事，它包含的 unique 单词列表，使用fgrep -c 更容易解决问题：

# remove duplicates words in a file
# place them one per line
function buildWordList() {
    sed -e 's/[^[:alpha:]][^[:alpha:]]*/'$"\n"'/g' "$1" |
           tr [:upper:] [:lower:] | sort -u | sed '/^$/d'
    #      ^^^^^^^^^^^^^^^^^^^^^^
    #      Works for English. 
}

TMP=$(mktemp -d)
trap "rm -rf $TMP" EXIT

buildWordList word | sed /.*/^@$/ > $TMP/Words
#                        ^^^^^^^^
#                     force whole word matching (as we have 1 word/line)
#                     `grep -w` might have been instead below. But I don't
#                     know if this is GNU-specific though
count=$(wc -l < $TMP/Words)

for file in story*
 do
    # build a list of unique words in the story, one per line
    buildWordList "${file}" > $TMP/FileWords
    if [ $( grep -c -f $TMP/Words $TMP/FileWords ) -eq $count ]
     then
       echo "${file}"
     fi
 done

Answer 5

for EachFile in story*
 do
    sed 's/  */\
/g' ${EachFile} | sort -u > /tmp/StoryInList
    if [ $( fgrep -w -c -v -f /tmp/StoryInList words ) -eq 0 ]
     then
       echo ${EachFile}
     fi
 done
rm /tmp/StoryInList

批量编写一些代码，但使用 grep 强度即使有几千个单词也能完成这项工作