如何使用 BeautifulSoup 通过网络抓取来获取 seq 标签数据？

Question

我是网络抓取的新手。我正在尝试从here 获取 FASTA 文件，但不知何故我不能。首先是我的跨度标签问题，我尝试了一些建议但对我不起作用我怀疑可能存在隐私问题

这个类中的 FASTA 文件，但是当我运行这段代码时，我只能看到 FASTA 标题：

url = "https://www.ncbi.nlm.nih.gov/nuccore/193211599?report=fasta"
res = requests.get(url)
soup = BeautifulSoup(res.text, "html.parser")
fasta_data = soup.find_all("div")
for link in soup.find_all("div", {"class": "seqrprt seqviewer"}):
    print link.text

url = "https://www.ncbi.nlm.nih.gov/nuccore/193211599?report=fasta"
res = requests.get(url)
soup = BeautifulSoup(res.text, "html.parser")
fasta_data = soup.find_all("div")
for link in soup.find_all("div", {"class": "seqrprt seqviewer"}):
    print link.text

##When I try to reach directly via span, output is empty.
div = soup.find("div", {'id':'viewercontent1'})
spans = div.find_all('span')
for span in spans:
    print span.string

Answer 1

每个抓取作业都涉及两个阶段：

1. 了解您要抓取的页面。 （它是如何工作的？从 Ajax 加载的内容？重定向？POST？GET？iframe？antiscraping 的东西？...）

2. 使用您喜欢的框架模拟网页

在完成第 1 点之前不要编写任何代码。Google 网络检查器是您的朋友，使用它！

关于您的网页，报告似乎已加载到从该网址获取数据的查看器中：

https://www.ncbi.nlm.nih.gov/sviewer/viewer.fcgi?id=193211599&db=nuccore&report=fasta&extrafeat=0&fmt_mask=0&retmode=html&withmarkup=on&tool=portal&log$=seqview&maxdownloadsize=1000000

使用该网址，您将获得报告。