保存搜索引擎的搜索结果[关闭]

Question

我正在尝试编写一个应用程序来自动在搜索引擎上执行搜索（在搜索框中搜索指定的电话号码）并将结果页面作为任何内容（XML、文本）获取。我已经尝试了几个网络爬虫/爬虫，但我没有找到执行搜索并保存结果数据的东西。他们只能得到请求的页面数据，这不是我需要的。

语言可以是C#、VB.Net或Java，只要提供解决方案就可以。谢谢。

我正在寻找执行此操作的工具或代码 sn-p。

Answer 1

这样的函数会将数据提取为字符串，但您必须自己解析其中的数据：

Public Shared Function GetWebPageData(ByVal address As Uri) As String
    Dim request As HttpWebRequest
    Try
        request = DirectCast(WebRequest.Create(address), HttpWebRequest)

        Using response As HttpWebResponse = DirectCast(request.GetResponse(), HttpWebResponse)
            Using reader As StreamReader = New StreamReader(response.GetResponseStream())
                Return reader.ReadToEnd
            End Using
        End Using
    Catch ex As Exception
        'TODO handle the error here....
        Return ""
    End Try
End Function

用法：

Dim xml As String = Networking.GetWebPageData(New Uri("http://www.hitta.se/077-570%2005%2000/f%C3%B6retag_och_personer"))
Debug.WriteLine(xml)