phantomJS 用休息刮擦不起作用

Question

我正在尝试从 Web 服务中抓取一些 URL，它运行良好，但我需要从同一个 Web 服务中抓取大约 10,000 个页面。

我通过创建多个 phantomJS 进程来做到这一点，它们每个都打开并评估不同的 URL（它是相同的服务，我只更改网站 URL 中的一个参数）。

问题是我不想一次打开 10,000 个页面，因为我不希望他们的服务崩溃，我也不希望我的服务器崩溃。

我正在尝试创建一些打开/评估/插入ToDB ~10 页的逻辑，然后休眠 1 分钟左右。

假设这就是我现在拥有的：

var numOfRequests = 10,000; //Total requests
    for (var dataIndex = 0; dataIndex < numOfRequests; dataIndex++) {
         phantom.create({'port' : freeport}, function(ph) { 
           ph.createPage(function(page) {
             page.open("http://..." + data[dataIncFirstPage], function(status) {

我想在中间的某个地方插入类似的东西：

if(dataIndex % 10 == 0){
   sleep(60); //I can use the sleep module
}

在我尝试放置 sleepJS 的每个地方，程序都会永远崩溃/冻结/循环...

知道我应该尝试什么吗？

我尝试将上面的代码放在 for 循环之后的第一行，但这不起作用（可能是因为正在等待触发的回调函数..） 如果我将它放在phantom.create() 回调中也不起作用..

Answer 1

意识到 NodeJS 是异步运行的，在你的 for 循环中，每个方法调用一个接一个地执行。 phantom.create 调用很快就结束了，然后下一个 for 循环开始。

要回答您的问题，您希望在 phantom.create 块的末尾使用 sleep 命令，仍然在 for 循环中。像这样：

var numOfRequests = 10000; // Total requests
for( var dataIndex = 0; dataIndex < numOfRequests; dataIndex++ ) {
  phantom.create( { 'port' : freeport }, function( ph ) {
    // ..whatever in here
  } );
  if(dataIndex % 10 == 0){
    sleep(60); //I can use the sleep module
  }
}

另外，考虑使用包来帮助解决这些控制流问题。异步是一个很好的方法，has a method, eachLimit 将同时运行多个进程，达到一个限制。便利！您需要为希望运行的每次迭代创建一个输入对象数组，如下所示：

var dataInputs = [ { id: 0, data: "/abc"}, { id : 1, data : "/def"} ];
function processPhantom( dataItem, callback ){
  console.log("Starting processing for " + JSON.stringify( dataItem ) );
  phantom.create( { 'port' : freeport }, function( ph ) {
    // ..whatever in here. 
    //When done, in inner-most callback, call:
    //callback(null); //let the next parallel items into the queue
    //or 
    //callback( new Error("Something went wrong") ); //break the processing
  } );
}
async.eachLimit( dataInputs, 10, processPhantom, function( err ){
  //Can check for err.
  //It is here that everything is finished.
  console.log("Finished with async.eachLimit");
});

睡一分钟也不错，但如果以 10 人为一组，则需要 1000 分钟，也就是超过 16 小时！仅在队列中有空间时才调用会更方便 - 并确保记录正在处理和已完成的请求。