【发布时间】:2018-05-06 21:18:47
【问题描述】:
我是网络抓取和正则表达式的新手,在这里遇到了问题。我的一个代码给了我一个 HTML 输出,但我需要从段落中提取某个部分而不是完整的段落。我需要帮助。下面是我的代码。
import mechanize
from bs4 import BeautifulSoup
import urllib2
br = mechanize.Browser()
response = br.open("http://www.consultadni.info/index.php")
br.select_form(name="form1")
br['APE_PAT']='PATRICIO'
br['APE_MAT']='GAMARRA'
br['NOMBRES']='MARCELINA'
req=br.submit().read()
soup = BeautifulSoup(req, "lxml")
for link in soup.findAll("a"):
sub=link.get("href")
soup1 = BeautifulSoup(sub, "lxml")
print soup1.find_all('p')
屏幕输出:
[<p>/</p>]
[<p>datospersonales.php?nc=PATRICIO GAMARRA MARCELINA&dni1=40772568&dni2=12405868&id1=12a40a58a68&id2=30/06/1980&dni3=40631880</p>]
[<p>datospersonales.php?nc=PATRICIO GAMARRA MARCELINA&dni1=40772568&dni2=12405868&id1=12a40a58a68&id2=30/06/1980&dni3=40631880</p>]
[<p>http://www.infocorpperuconsultatusdeudas.blogspot.com/2015/05/infocorp-consulta-gratis-tu-reporte-de.html?ref=dnionline</p>]
我需要什么:30/06/1980 & 40631880
【问题讨论】:
-
尝试用
urllib.parse.parse_qs解析sub以获取变量和值的字典。 -
ParseResult(scheme='', netloc='', path='tmp', params='', query='', fragment='') ParseResult(scheme='', netloc= '', path='tmp', params='', query='', fragment='') ParseResult(scheme='', netloc='', path='tmp', params='', query=' ', 片段='')
-
我是正则表达式的新手,那么这个正则表达式应该是什么?
标签: python html web-scraping beautifulsoup mechanize