【问题标题】:Fastest way to repeatedly download html contents of a page重复下载页面html内容的最快方法
【发布时间】:2016-05-17 16:55:32
【问题描述】:

重复下载和扫描 Twitter 等页面的 html 内容的最快方法是什么?我需要检查一个用户名是否每秒可用多次,并且越快越好。

我目前正在使用 WebClient 和 DownloadString 创建 10 个下载和检查线程,它的速度为每秒 5 到 7 次检查。但是我希望它更快,有什么方法可以做到这一点?

创建更多线程不起作用,所以你不建议这样做。

提前致谢。

【问题讨论】:

    标签: c# html multithreading loops webclient


    【解决方案1】:

    使用Twitter API 或更广泛的网页转储尝试WGET

    【讨论】:

    • API没有速率限制吗?每 15 分钟大约有 180 个电话?
    • 是的,这里有描述:dev.twitter.com/rest/public/rate-limiting,您可能需要查看 Use application-only auth as a “reserve” :“Requests using Application-only身份验证在单独的上下文中针对应用程序的每用户速率限制进行评估。对于许多情况,您可能希望将此额外的速率限制池用作典型的基于用户的操作的“储备”。”
    • 除了应用程序的储备池之外,您还可以使用多个帐户的凭据。
    猜你喜欢
    • 2017-01-18
    • 2010-12-21
    • 1970-01-01
    • 1970-01-01
    • 2019-06-18
    • 1970-01-01
    • 2020-01-15
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多