网络抓取获取响应文本到服务器

Question

大家好，我已经苦苦挣扎了几个星期，试图让它发挥作用。我读了很多，我几乎接近解决方案。我只是希望比我有更多经验的人可以提供帮助。

此时我有：

• digitalocean 的服务器
• 2 个测试脚本。

为了测试我的服务器，我使用了以下代码：

var http = require('http');
http.createServer(function (req, res) {
 res.writeHead(200, {'Content-Type': 'text/plain'});
 res.end('Hello World test sucess\n');
}).listen(8080); 
console.log('Server is running at http://178.62.253.206:8080/');

哪个工作正常

我只是设法让我的爬虫脚本使用以下方法将 html 响应文本加载到控制台中：

var request = require('request');
var cheerio = require('cheerio');

request('http://www.xscores.com/soccer', function (error, response, html) {
  if (!error && response.statusCode == 200) {
    console.log(html);
  }
});

我真的很想以某种方式合并这两个代码。这意味着我想将响应文本加载到我的服务器中。我已经尝试了几件事，但我不确定我应该如何措辞代码。

非常感谢任何帮助

弗雷德里克

Answer 1

由于您要发送 html 内容，请将 content-type 更改为 'text/html' 并尝试以下操作：

var http = require('http');
var request = require('request');
var cheerio = require('cheerio');

http.createServer(function (req, res) {

    request('http://www.xscores.com/soccer', function (error, response, html) {
        if (!error && response.statusCode == 200) {
            console.log(html);
            res.writeHead(200, {
                'Content-Type': 'text/html'
            });
            res.end(html);
        }
    });
}).listen(8080);


console.log('Server is running at http://178.62.253.206:8080/');

Answer 2

它应该看起来像这样！

var http = require('http');
var request = require('request');
var cheerio = require('cheerio');

http.createServer(function (req, res) {
   request('http://www.xscores.com/soccer', function   (error, response, html) {
   if (!error && response.statusCode == 200) {
       res.writeHead(200, { 'Content-Type':'text/plain'});
       res.end('html:'+html);
   }

}); }).听(8080); console.log('服务器运行在http://178.62.253.206:8080/');