使用网络抓取从互联网获取股票价格答案

【问题标题】：Getting stock prices from internet using web scraping使用网络抓取从互联网获取股票价格
【发布时间】：2021-02-15 10:18:02
【问题描述】：

我的代码输出：


<Response [200]>
https://www.tradingview.com/symbols/NSE-RELIANCE
1
[<div class="tv-symbol-price-quote__value js-symbol-last"></div>]

Process Finished with exit code 0

我正在尝试从 Excel 文件中读取股票名称，并使用此代码在我的 Excel 表中更新它们的最新价格。运行此代码后，我得到了一个数组（数据）中的输出，但它不包含任何股票价格，我以后可以在我的列表中检索和更新。有人可以帮我吗？The html tag highlighted containing the price of stock

import openpyxl
import time
import requests
from bs4 import BeautifulSoup
wb = openpyxl.load_workbook("try.xlsx")
sheets = wb.sheetnames
#print(sheets)
sh = wb['Stock']
data = sh['F4'].value
#print(data)
s_row = 4
s_col = 6
c_list = []
while sh.cell(row=s_row, column= s_col).value != None:
    c_name = sh.cell(row=s_row, column=s_col).value
    c_list.append(c_name)
    s_row += 1
#print("Company name available in Database")
#[print('    ->', name) for name in c_list]
time.sleep(2)
for stock_symbol in c_list:
    url = 'https://www.tradingview.com/symbols/NSE-' + stock_symbol
    response = requests.get(url)
    print(response)
    print(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    #print(soup)
    data = soup.find_all('div', attrs={'class': 'tv-symbol-price-quote__value js-symbol-last'})
    print(len(data))
    print(data)

【问题讨论】：

看网站，好像是运行脚本填写的数据。 requests 模块不运行脚本，因此您无法通过这种方式获得所需的数据。您将需要使用可以运行脚本的东西，例如 selenium 或查找备用数据源
只使用yfinance库

标签： python web-scraping finance stock

【解决方案1】：

正如我在 cmets 中所说，这些数据是在页面加载后从脚本生成的，requests 不运行脚本。处理这个问题的一种方法是使用类似selenium 的东西，它也会运行脚本，另一种方法是直接查询它们的 API。
在查看了如何从网站查询数据后，我得到了这个工作：

r = requests.post(r"https://scanner.tradingview.com/america/scan", 
    data=json.dumps({"symbols":{"tickers":["NYSE:GME"],"query":{"types":[]}},"columns":["close"]}))
print(r.json())

返回的数据将如下所示：

{'data': [{'s': 'NYSE:GME', 'd': [52.4]}], 'totalCount': 1}

注意"tickers" 和"columns" 中的值
如果您需要更多数据，这里有一个更广泛的列列表

['Recommend.All', 'RSI', 'RSI[1]', 'Stoch.K', 'Stoch.D', 'Stoch.K[1]', 'Stoch.D[1]', 'CCI20', 'CCI20[1]', 'ADX', 'ADX+DI', 'ADX-DI', 'ADX+DI[1]', 'ADX-DI[1]', 'AO', 'AO[1]', 'Mom', 'Mom[1]', 'MACD.macd', 'MACD.signal', 'Rec.Stoch.RSI', 'Stoch.RSI.K', 'Rec.WR', 'W.R', 'Rec.BBPower', 'BBPower', 'Rec.UO', 'UO', 'EMA10', 'close', 'SMA10', 'EMA20', 'SMA20', 'EMA30', 'SMA30', 'EMA50', 'SMA50', 'EMA100', 'SMA100', 'EMA200', 'SMA200', 'Rec.Ichimoku', 'Ichimoku.BLine', 'Rec.VWMA', 'VWMA', 'Rec.HullMA9', 'HullMA9']

【讨论】：