在 Java 中监控谷歌搜索

Question

对于我的硕士论文，我需要跟踪用户执行的谷歌搜索。它应该是一个网络项目。首先，我想设置一个服务器（充当代理）来监视用户执行的所有操作（搜索查询）。 服务器应该提供谷歌搜索页面。我需要跟踪用户的输入以及从谷歌返回的相应结果。

我的任务是现在..我应该如何开始？

1. 我不确定要使用哪个网络服务器。我应该使用 tomcat / jetty / 还是别的什么？ Java Server Faces 或 Servlet 呢？我很久以前就与 JSF 合作过，但我不确定使用它是否是一个好的决定。
2. 服务器应该传送谷歌搜索页面。这是我的想法：用户连接到我的服务器。服务器“读取”谷歌页面并将其（源代码）返回给用户。我想在默认搜索字段上使用监听器来监控用户的搜索查询。但是如何监控从谷歌返回的结果呢？我猜谷歌网站本身使用 JavaScript。因此，当用户进行一些输入时，它会直接发送到谷歌，结果直接显示在网页上，因此我的网络服务器看不到客户端和谷歌服务之间的连接。

主要思想是监视搜索查询和相应的搜索结果。

我只需要一些帮助和想法就可以开始了。这只是我论文的一小部分。我不想在编辑期间从零开始，因此我想确保在开始之前做出正确的选择。

提前谢谢你...最好的问候。

Answer 1

您可以使用 netty 作为代理，只过滤和记录所有搜索查询。但话又说回来，为什么还要使用 java 呢？根据您的描述，您不想扮演中间人并操纵/记录 http 流量。

通过谷歌快速搜索找到了这个 python：https://code.google.com/p/proxpy/

编辑：和java中的类似https://github.com/adamfisk/LittleProxy