【问题标题】:link checker for hotfile, rapidsharehotfile、rapidshare 的链接检查器
【发布时间】:2013-11-04 01:55:51
【问题描述】:

我有超过 20k 的链接要检查。 这些是 rapidshare 和 fileserve 链接。 现在我正在使用“file_get_content”并检查 fileserve 链接内容是否包含“此文件违反了版权所有者或被上传者删除。”将其标记为“已删除”和“找不到文件”。快速分享链接。

if (strpos($var2, "This file was either in breach of a copyright holder or deleted by the uploader.")) {...
if (strpos($var, "File not found.")) {...

问题是 file_get_content 真的很慢,即使我添加了这个:

$context = stream_context_create(array('http' => array('header'=>'Connection: close')));
$var = file_get_contents($url,false,$context);

如果有其他替代方法可以更快地做到这一点? 脚本运行了一个多小时,我检查了 5k 个链接...

【问题讨论】:

    标签: performance hyperlink


    【解决方案1】:

    您是否尝试使用多线程和其他语言(如 C)来进行检查?

    【讨论】:

      【解决方案2】:

      这两项服务都向公众提供 API,请阅读他们的文档。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2012-06-15
        • 1970-01-01
        • 2015-07-25
        • 2010-12-03
        • 1970-01-01
        • 2013-01-31
        • 2021-01-17
        • 2011-08-26
        相关资源
        最近更新 更多