【发布时间】：2019-12-24 20:16:14
【问题描述】：
我想创建简单的搜索引擎，例如 Google 或 Bing。 Google 或 Bing 从什么获取数据？我可以从什么获取数据？
我将在 Spring 框架中创建它。
【问题讨论】：
-
欢迎来到 Stack Overflow！仅供参考，搜索引擎使用爬虫。不过这个问题太笼统了，建议你拿the tour看看How to ask
标签： spring search-engine
【发布时间】：2019-12-24 20:16:14
【问题描述】：
我不确定框架
但你需要的东西很少
- 所有活动域列表（检查此https://whoisdatacenter.com/
- 你需要一个静态 IP 并告诉网站使用代理名称 --user-agent mybot
- 你一定很擅长 curl / sed/ awk/ grep
- 示例我正在使用我的机器人，当我在数据库的索引中执行 nmap / nslookup / 获取网站数据时，我只是告诉所有网站我是谁..
- 不要使用像谷歌/雅虎这样的用户代理，你会被很多服务器屏蔽
PS：我也是一个新人……但不知何故，我设法通过上述步骤完成了我的工作。
有 184-2.1 亿个活跃域。你需要一个强大的服务器。我在 bash 上制作的
【讨论】：