Gensim 的相似之处

Question

我在 pandas 中有一个组织描述和项目名称的数据框，如下所示：

列是df['org_name']、df['org_description']、df['proj_title']。我想为每个项目（每一行）添加一列，其中包含组织描述和项目标题之间的相似度分数。

我正在尝试使用gensim：https://radimrehurek.com/gensim/auto_examples/core/run_similarity_queries.html。但是，我不确定如何根据我的用例调整本教程，因为在本教程中我们得到了一个新查询 doc = "Human computer interaction"，然后将其与语料库中的文档单独进行比较。不确定在哪里做出这个选择 (sims?vec_lsi?)

但我只希望数据框df 的给定行中的两个项目的相似度得分，而不是其中一个与整个语料库的相似度得分，对于每一行，然后将其作为一列附加到df。我该怎么做？

Answer 1

这是对 Gensim LSI 教程的改编，其中描述表示句子的语料库，标题是针对它进行的查询。

from gensim.models import LsiModel
from collections import defaultdict
from gensim import corpora

def desc_title_sim(desc, title):
    # remove common words and tokenize
    stoplist = set('for a of the and to in'.split())  # add a longer stoplist here
    sents = desc.split('.')  # crude sentence tokenizer
    texts = [
        [word for word in sent.lower().split() if word not in stoplist]
        for sent in sents
    ]

    # remove words that appear only once
    frequency = defaultdict(int)
    for text in texts:
        for token in text:
            frequency[token] += 1

    texts = [
        [token for token in text if frequency[token] > 1]
        for text in texts
    ]

    dictionary = corpora.Dictionary(texts)
    corpus = [dictionary.doc2bow(text) for text in texts]

    lsi = LsiModel(corpus, id2word=dictionary, num_topics=2)

    vec_bow = dictionary.doc2bow(title.lower().split())
    vec_lsi = lsi[vec_bow]  # convert the query to LSI space
    return vec_lsi

逐行应用函数以获得相似度：

df['sim'] = df.apply(lambda row: desc_title_sim(row['org_description'], row['proj_title']), axis=1)

新创建的 sim 列将填充类似的值

[(0, 0.4618210045327158), (1, 0.07002766527900064)]