【问题标题】:is there a faster alternative to mwdumper to import xmls?有没有更快的替代 mwdumper 来导入 xmls?
【发布时间】:2011-09-02 15:14:43
【问题描述】:

我正在寻找一种更快的替代方法来使用 mwdumper 导入 mediawiki xml 转储。 我曾使用 wget 为大型文章一一下载 xml,我需要导入数百个。一次导入一个耗时太长

命令 java -jar mwdumper.jar --format=sql:1.5 page1.xml | mysql -u 用户名 -d 数据库名 似乎无法在 Windows 命令行上运行。

【问题讨论】:

  • 没有| (管道)在 Windows 中。 mwdumper 可以选择将结果直接写入数据库。
  • thx @Tgr 你知道那个选项是什么吗?我一直这样做的方式是打开 mwdumper.jar,浏览文件,连接到数据库并导入,然后对每个文件重复此操作。
  • --output=mysql:<jdbc url> 其中JDBC url 看起来像mysql://<host>/<database>?user=<username>&password=<password>。您可以在 the documentation 中找到它以及所有其他选项。 (但不能保证它有效;我似乎记得它有问题,但那是很久以前的事了。)

标签: xml mediawiki


【解决方案1】:

我比较了几个可用的选项。 maintenance/importDump.php 是我的赢家:

  • 它是 MediaWiki 本身的一部分,因此更有可能得到支持,并且发生异常的可能性较小(如果您开始自己处理 SQL 查询,您肯定会遇到这种情况)。
  • 它至少比我基于 maintenance/edit.php 的代码所获得的代码快两倍。
  • 它可以在现有的 MediaWiki 设置上运行。
  • 它适用于GNU Parallel
  • 20.23 revs/sec 的形式提供很好的反馈

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2022-10-07
    • 2017-07-19
    • 2018-12-05
    • 2023-03-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多