【问题标题】:Parse Wikipedia dump into plain text where preserving the structure (sections)将维基百科转储解析为保留结构(部分)的纯文本
【发布时间】:2016-02-21 12:27:12
【问题描述】:

我一直在寻找wikipedia dump parser into custom xml ,基本上每篇文章都应该被解析成一组section tags,包含文章的section纯文本。我想出了以下解决方案

第一个问题是它仅在 windows 上可用,而第二个不提供在嵌套 xml 方案中生成部分的能力。 mwlib 以前的实现似乎提供了这样的功能,但遗憾的是新版本没有。 linux上是否有任何维基百科xml转储解析器可以生成可定制的xmls?

【问题讨论】:

    标签: mediawiki wiki wikipedia mediawiki-templates


    【解决方案1】:

    我认为使用 jsonwikipedia [1] 是可行的。它从 Wikipedia XML 转储中生成“json 转储”。这篇博文 [2] 中有关 jsonwikipedia 和其他工具的更多详细信息

    [1] - https://github.com/idio/json-wikipedia

    [2] - http://engineering.idioplatform.com/2016/02/18/wikipedia-toolkit.html

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2011-04-22
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多