使用 cron 作业通过我的网站解析数据答案

【问题标题】：Parse data through my website using cron jobs使用 cron 作业通过我的网站解析数据
【发布时间】：2016-11-24 01:11:33
【问题描述】：

当您访问那里托管的 URL 时，很少有托管服务提供商会执行此类操作。例如，考虑一个托管服务提供商，比如“xtreemhost.com”

一个网站托管在那里，比如“vritrasur.com”

该站点的作用是，如果我们访问该站点“http://vritrasur.com”，它会将 url 更新为“http://vritrasur.com/?i=1”

如果你再次重新加载它，它会变成“http://vritrasur.com/?i=2”

问题：

我有一个 php 脚本，上传到此类网站之一（仅我的网站，仅托管在此类服务器之一中），我需要每小时运行一次该脚本。因为手动执行它很愚蠢，所以我想为它设置一个 cron 任务。

每当 cron 作业发出请求时，url 都会抛出这样的错误

<html>
    <body>
        <script type="text/javascript" src="/aes.js" ></script>
        <script>
            function toNumbers(d){
                var e=[];
                d.replace(/(..)/g,function(d) { e.push(parseInt(d,16)) });
                return e
            }
            function toHex(){
                for(var d=[],d=1==arguments.length&&arguments[0].constructor==Array?arguments[0]:arguments,e="",f=0;
                f<d.length;f++)e+=(16>d[f]?"0":"")+d[f].toString(16);
                return e.toLowerCase()
            }
            var a=toNumbers("f655ba9d09a112d4968c63579db590b4"),b=toNumbers("98344c2eee86c3994890592585b49f80"),c=toNumbers("9f38f758d71e0c6e0e935c8c90e0cce1");
            document.cookie="__test="+toHex(slowAES.decrypt(c,2,a,b))+"; 
            expires=Thu, 31-Dec-37 23:55:55 GMT; path=/"; 
            location.href="http://raghavrao.com/homeimage/reasontorely/infra1.png?i=1";
        </script>
        <noscript>This site requires Javascript to work, please enable Javascript in your browser or use a browser with Javascript support</noscript>
    </body>
</html>

从技术上讲，服务器正在我的浏览器中设置一些 cookie，然后正在更新 URL，从而防止任何自动机器人通过其服务器抓取数据。

我的问题是，即使经过这样的障碍，是否有可能报废。

如果是，请告诉我怎么做。

【问题讨论】：

标签： javascript php cron setcookie

【解决方案1】：

经过研究，我可以看到谷歌已经用https://www.google.nl/#q=site:vritrasur.com 为网站 vritrasur.com 编制了索引，而谷歌是一个自动机器人，所以我尝试了用户代理“Googlebot/2.1 (+http://www.googlebot.com/bot.html)”，但我没有javascript 和 __test cookie。

我用来休息的 PHP 代码由你决定

<?php 

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "http://vritrasur.com");
curl_setopt($ch, CURLOPT_USERAGENT, "Googlebot/2.1 (+http://www.googlebot.com/bot.html)");

curl_exec($ch);
curl_close($ch);

?>

【讨论】：

先生，我正在使用 cron 作业，它只允许我设置 url。
因为我不能使用 curl，我如何设置用户代理？
@yogesh prajapati 请详细说明 cronjob 只是一个计划任务，它不能在没有某些程序的情况下废弃网站。
计划任务只是访问一个 URL，而该 URL 实际上是我的 php 脚本，它被触发了