【问题标题】:How to scrape through Google Scholar to generate lists based on keywords?如何通过谷歌学术搜索生成基于关键字的列表?
【发布时间】:2021-01-04 16:49:14
【问题描述】:

我想生成列表,这些列表会随着来自 Academic.google.com 的最新科学出版物不断更新。我有一些必须不断抓取的术语,一旦在任何新出版物中找到这些关键字,就必须将其添加到列表中。

如何在不需要 NLP 知识的情况下开发这样的算法?应该使用哪些库?

我对使用 Python 进行编程比较陌生,我正在寻找一种简单的方法来解决这个问题。非常感谢您的任何意见。

【问题讨论】:

  • 我的评论是基于对目标的误解,但编辑为时已晚,所以我将其删除,以免引起混淆。

标签: python web-crawler google-scholar


【解决方案1】:

我会使用 SerpApi Google Scholar API 之类的 API,并使用 requests 从该 API 请求数据。网上已经有很多关于如何使用请求的指南。

【讨论】:

  • 这错过了问题的“确定要搜索的新关键字”部分。
  • @Oso 问题在哪里?
  • “我有一些必须不断抓取的术语,一旦在任何新出版物中找到这些关键字,就必须将其添加到列表中。”
  • 第二句,“我有一些术语需要不断爬取,一旦在任何新出版物中找到这些关键词,就必须将其添加到列表中。”
  • 没关系,我想我看错了句子。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-01-12
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多