如何让数据挖掘者在网页上进行特定搜索？

Question

我是 Python 新手，正在尝试使用 Pattern。我的目标是在从 IndoWordnet 中查找后获得一个代码，该代码将为我提供输入词的同义词。语言必须是孟加拉语。我已经有一个单词列表。但我不确定在 Pattern 的帮助下我可以在网络上搜索输入。我试过关注 http://arunrocks.com/easy-practical-web-scraping-in-python/ 。它没有多大帮助。我想从一个解析的网页开始，这就是我所做的。这也给了我们绝对链接。

from lxml.html import fromstring
from urllib2 import urlopen
def get_page(url) :
    html = urlopen(url).read()
    dom = fromstring(html)
    dom.make_links_absolute(url)
    return dom

dom = get_page('http://www.cfilt.iitb.ac.in/indowordnet/first?langno=3&queryword=%E0%A6%97%E0%A6%BE%E0%A6%A7%E0%A6%BE')

<Element html at 0x50b4840>

但在那之后我被困住了，因为我不知道如何使用模式进行特定搜索。请帮忙。

Answer 1

这比看起来要复杂一些，因为有一个 AJAX 请求可以获取您要抓取的数据，所以分两步完成：

• 获取与您要查找的单词对应的特殊sid 值（它在label 内，id 属性等于sid）
• 向http://www.cfilt.iitb.ac.in/indowordnet/ajax/onto.jsp 发出另一个请求，传递您在第一步中获得的sid。例如，查看 sid=4827 的外观：http://www.cfilt.iitb.ac.in/indowordnet/ajax/onto.jsp?sid=4827

这是代码。它打印所有的antology标签：

from lxml.html import parse
from urllib2 import urlopen

SID_URL = 'http://www.cfilt.iitb.ac.in/indowordnet/ajax/onto.jsp?sid=%s'

url = 'http://www.cfilt.iitb.ac.in/indowordnet/first?langno=3&queryword=%E0%A6%97%E0%A6%BE%E0%A6%A7%E0%A6%BE'
tree = parse(urlopen(url))

sid = tree.find('.//label[@id="sid"]').text

tree = parse(urlopen(SID_URL % sid))
for record in tree.xpath('//ontorecord'):
    print record.find('onto_label').text

UPD（获取同义词）：

from lxml.html import parse
from urllib2 import urlopen

url = 'http://www.cfilt.iitb.ac.in/indowordnet/first?langno=3&queryword=%E0%A6%97%E0%A6%BE%E0%A6%A7%E0%A6%BE'
tree = parse(urlopen(url))

for label in tree.xpath('.//label[@id="words"]/a'):
    print label.text