从谷歌和雅虎收集搜索结果的程序[关闭]

Question

我想在 Google Yahoo 上搜索仅限于特定国家/地区的论坛和博客文章。结果将被保存到数据库中以供排序和进一步处理。

从每个搜索结果中，我需要：

• 网址本身
• 日期和时间
• 域

我正在开发一个程序，它接受关键字作为输入，该程序将自动在 Google 和 Yahoo 上搜索并将结果保存到数据库中。

function OnLoad() {
  // Create a search control
  var searchControl = new google.search.SearchControl();

  // Add in a full set of searchers
  var localSearch = new google.search.LocalSearch();
  searchControl.addSearcher(localSearch);
  searchControl.addSearcher(new google.search.WebSearch());
  searchControl.addSearcher(new google.search.VideoSearch());
  searchControl.addSearcher(new google.search.BlogSearch());
  searchControl.addSearcher(new google.search.NewsSearch());
  searchControl.addSearcher(new google.search.ImageSearch());
  searchControl.addSearcher(new google.search.BookSearch());
  searchControl.addSearcher(new google.search.PatentSearch());

  // Set the Local Search center point
  localSearch.setCenterPoint("New York, NY");

  // tell the searcher to draw itself and tell it where to attach
  searchControl.draw(document.getElementById("searchcontrol"));

  // execute an inital search
  searchControl.execute("VW GTI");
}
google.setOnLoadCallback(OnLoad);

此代码来自 Google AJAX 搜索 API，但似乎没有办法将域、国家、日期和时间指定为搜索条件。此外，它以 HTML 格式返回结果，很难将其分割并作为搜索结果条目保存到数据库中。

已编辑以描述我的具体问题。

Answer 1

解析原始 HTML 应该是您最后的手段。如果他们改变了标记，你必须重新设计你的解析器。这几乎可以保证在您提到的使用 Google 的 AJAX 搜索 API 的“3 年”时间段之前发生。