【问题标题】:How to import gensim summarize如何导入gensim汇总
【发布时间】:2021-09-05 15:54:22
【问题描述】:

我按照以下流程让 gensim 在 Google Collab 中工作:

!pip install gensim
from gensim.summarization import summarize

然后我就可以打电话给summarize(some_text)

现在我正在尝试在 VS 代码中运行相同的东西:

我已经安装了 gensim: pip3 install gensim

但是当我跑步时

from gensim.summarization import summarize

我得到了错误

Import "gensim.summarization" could not be resolvedPylancereportMissingImports

我也尝试过from gensim.summarization.summarizer import summarize,但出现了同样的错误。无论如何,我无法在 Google Collab 之外调用函数 summarize(some_text)

【问题讨论】:

  • 注意:使用inline formatting时,单反引号是可以的。三重反引号有效,但编写起来更费力,编辑起来也更繁琐。

标签: python visual-studio-code nlp gensim


【解决方案1】:

summarization 代码已从 Gensim 4.0 中删除。见:

https://github.com/RaRe-Technologies/gensim/wiki/Migrating-from-Gensim-3.x-to-4#12-removed-gensimsummarization

12.删除gensim.summarization

尽管它的名字听起来很笼统,但该模块不能满足 生产中的大多数用例,可能会浪费人们的 时间。见this Github ticket 这背后有更多的动力。

如果需要,可以试试:

  • 安装较旧的 gensim 版本(例如 3.8.3,它保留的最后一个官方版本);或者……
  • 将源代码复制到您自己的本地模块中

但是,我预计您可能会对它的不灵活以及它无能为力感到失望。

只是抽取式摘要 - 从已经存在的句子中选择几个关键句子。只有当源文本已经以说明性风格编写好时,才会产生令人印象深刻的结果,将高级概述句子与单独的细节句子混合在一起。而且,它的单词分析/排序方法非常粗糙且难以定制——与 Gensim 或其他文本库中使用的更通用/可配置/可交换的方法完全无关。

【讨论】:

    【解决方案2】:

    所以只好专门下载了

    pip3 install gensim==3.6.0
    

    我使用的是 gensim==4.1.0,这个功能在这个更高版本中似乎不再起作用

    【讨论】:

    • 如果选择回滚到较旧的 Gensim,您可能更愿意获得 gensim=3.8.3,即仍具有 summarization 模块的最新版本 - 而不是更旧的 @987654326 @.
    • 非常感谢。你知道他们为什么删除它吗?它似乎运作良好。哦,没关系。我看到你发布了链接!
    • 我的回答和链接的项目问题讨论了它被删除的一些原因。如果它对你很有效,那就太好了。我怀疑算法的某些变体有一天可能会返回到 Gensim,如果代码被改进以更好地与项目的其余部分集成,并且有一个参与的贡献者/维护者。
    • @gojomo 你对 Python 中的库有什么建议吗?它们在总结方面比旧的 GenSim 模型做得更好?我很好奇还有什么可能更好
    • 在更深层次的神经网络语言模型方面取得了很大进展,但我对空间的了解不足以推荐任何东西。通过一篇关于 Chrome 扩展 (news.ycombinator.com/item?id=28322429) 的 HN 帖子,我最近听说了一个基于 BERT 语言模型的免费摘要模型,该模型在 Python 中可用 - 请参阅 huggingface.co/sshleifer/distilbart-cnn-12-6,它还提供了一个测试文本框。这可能值得直接研究,或作为其他相关工作的起点。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-08-10
    • 2020-09-15
    • 2017-06-29
    • 1970-01-01
    • 1970-01-01
    • 2018-07-26
    • 1970-01-01
    相关资源
    最近更新 更多