Doc2Vec 输入格式

Question

在 ubuntu 上运行 gensim Doc2Vec

Doc2Vec 拒绝我的输入并出现错误

AttributeError: 'list' 对象没有属性 'words'

    import gensim from gensim.models  
    import doc2vec as dtv
    from nltk.corpus import brown
    documents = brown.tagged_sents()
    d2vmodel = > dtv.Doc2Vec(documents, size=100, window=1, min_count=1, workers=1)

我已经尝试过 this SO question 以及许多具有相同结果的变体

文档 = [brown.tagged_sents()} 添加哈希函数

如果语料库是一个 .txt 文件，我可以使用

    documents=TaggedLineDocument(documents)

但这通常是不可能的

Answer 1

Gensim 的Doc2Vec 要求每个文档都采用具有words 属性（字符串标记列表）和tags 属性（标记列表）的对象形式。这些标签通常是字符串，但是拥有大型数据集的专家用户可以通过使用从 0 开始的纯整数来节省一点内存。

包含一个具有正确“形状”的类 TaggedDocument，并在大多数 Gensim 文档/教程示例中使用 - 但鉴于 Python 的“鸭子类型”，任何具有 words 和 tags 属性的对象会做。

但一个简单的列表不会。

如果我理解正确，brown.tagged_sents() 将返回 (word, part-of-speech-tag) 元组的列表，这甚至不是那种可以用作 @ 的词标记列表987654329@，并且不提供Doc2Vec 需要的任何完整文档标签作为受过训练的文档向量的键。

另外：您不太可能想使用min_count=1。丢弃频率非常低的词通常会使保留的Word2Vec/Doc2Vec 向量更好。