使用 Python 从 Yahoo Finance 抓取头条新闻答案

【问题标题】：Scraping headlines from Yahoo Finance using Python使用 Python 从 Yahoo Finance 抓取头条新闻
【发布时间】：2014-04-15 08:16:30
【问题描述】：

我正在使用漂亮的汤从这个页面http://in.finance.yahoo.com/q?s=AAPL 中提取标题，但我需要过去 3 个月的标题，即从 2013 年 12 月 10 日到 2014 年 3 月 10 日。但我只能提取他们在这个特定的标题页。如何提取任何特定公司所需的标题？

代码：

url = 'http://in.finance.yahoo.com/q?s=AAPL'
data = urllib2.urlopen(url)
soup = BeautifulSoup(data)

divs = soup.find('div',attrs={'id':'yfi_headlines'})
div = divs.find('div',attrs={'class':'bd'})
ul = div.find('ul')
lis = ul.findAll('li')
hls = []
for li in lis:
    headlines = li.find('a').contents[0]
    print headlines

【问题讨论】：

更具体，先发布您的代码。

标签： python web-scraping beautifulsoup yahoo-finance

【解决方案1】：

我认为您的问题与您从哪里获取数据更相关，如果您需要过去三个月的数据，您应该查询http://in.finance.yahoo.com/q/hp?s=AAPL，您要查找的所有数据都显示在表格中。

【讨论】：

【解决方案2】：

在http://in.finance.yahoo.com/q?s=AAPL，点击“更多来自 AAPL 的头条新闻”。从那里你会得到一个链接，其中有一个日期时间字段。修改它，你应该很好。 (http://in.finance.yahoo.com/q/h?s=AAPL&t=2014-02-08T15:06:40+05:30)

【讨论】：

如果我需要一段时间的头条新闻怎么办？就像 twitter API 一直以来和直到运营商一样。