【发布时间】:2011-02-08 22:23:43
【问题描述】:
我正在构建一个网络爬虫,并试图找出一个网页来自哪里。我的意思是,我可以检查域名(例如,来自阿根廷的 .com.ar ar),但还有其他网站,也有其他阿根廷域名(.com、.net),例如 www.taringa 。网。是一个阿根廷站点,但具有 .net 域。
那我该怎么做呢?
谢谢。
【问题讨论】:
标签: html http web-crawler
我正在构建一个网络爬虫,并试图找出一个网页来自哪里。我的意思是,我可以检查域名(例如,来自阿根廷的 .com.ar ar),但还有其他网站,也有其他阿根廷域名(.com、.net),例如 www.taringa 。网。是一个阿根廷站点,但具有 .net 域。
那我该怎么做呢?
谢谢。
【问题讨论】:
标签: html http web-crawler
IP 地理位置。做一个反向 查找IP地址,您可以 获取地理位置。这些 服务要花钱,而且只会 告诉你服务器在哪里 托管。
在域上做一个 whois。它会 告诉你网站在哪里 已注册。
但请记住, “网页来自哪里”没有任何意义。网络没有地理界限。我可以在加利福尼亚州圣何塞以外运营一个西班牙语网站,并在加拿大注册域名联系人。您将无法知道我的网站是针对智利用户的。
【讨论】:
您可以在命令行上使用 whois 查询 - 或根据结果向 whois.arin.net 和 whois.xxxx.xxx 发出请求。如果我将 www.taringa.net 映射到 IP,我会得到:
www.taringa.net. 300 IN A 190.210.132.53
并在上面运行 whois:
whois 190.210.132.53
给了我大量的输出:
inetnum: 190.210.132/24
status: reallocated
owner: WIROOS SRL
ownerid: AR-WISR1-LACNIC
responsible: ALBERTO NAKAYAMA
address: GRAL MIGUEL DE AZCUENAGA, 71, 4 A
address: C1029AAA - BUENOS AIRES -
country: AR
phone: +54 011 30973059 [3059]
这通常适用于任何 ip。
【讨论】: