生物信息学：对 BacDive 数据库的编程访问

Question

“BacDive”的资源 - (http://bacdive.dsmz.de/) 是一个非常有用的数据库，用于访问细菌知识，例如菌株信息、物种信息和参数，例如最佳生长温度。

我有一个场景，我在纯文本文件中有一组有机体名称，我想以编程方式对 Bacdive 数据库（不允许下载平面文件）逐一搜索并检索相关信息并相应地填充我的文本文件。

我需要哪些主要模块（例如 beautifulsoups）来完成此任务？它是直截了当的吗？是否允许以编程方式访问网页？我需要许可吗？

细菌名称应该是“恶臭假单胞菌”。搜索这将在 bacdive 上获得 60 次点击。单击其中一个点击，将我们带到特定页面，其中行：“生长温度：[Ref.：#27] 推荐的生长温度：26°C”是最重要的。

脚本必须访问 bacdive（我曾尝试使用 requests 访问，但我觉得他们不允许编程访问，我已经向版主询问了这个问题，他们说我应该先注册他们的 API）。

---

我现在拥有 API 访问权限。这是页面 (http://www.bacdive.dsmz.de/api/bacdive/)。对于进行 HTML 抓取的人来说，这可能看起来很简单，但现在我可以访问 API，我不确定该怎么做。

Answer 1

这里是解决方案...

import re
import urllib
from bs4 import BeautifulSoup


def get_growth_temp(url):
    soup = BeautifulSoup(urllib.urlopen(url).read())
    no_hits = int(map(float, re.findall(r'[+-]?[0-9]+',str(soup.find_all("span", class_="searchresultlayerhits"))))[0])
    if no_hits > 1 :
        letters = soup.find_all("li", class_="searchresultrow1") + soup.find_all("li", class_="searchresultrow2")
    all_urls = []
    for i in letters:
        all_urls.append('http://bacdive.dsmz.de/index.php' + i.a["href"])
    max_temp = []
    for ind_url in all_urls:
        soup = BeautifulSoup(urllib.urlopen(ind_url).read())
        a = soup.body.findAll(text=re.compile('Recommended growth temperature :'))
       if a:
           max_temp.append(int(map(float, re.findall(r'[+-]?[0-9]+', str(a)))[0]))
    print "Recommended growth temperature : %d °C:\t" % max(max_temp)

url = 'http://bacdive.dsmz.de/index.php?search=Pseudomonas+putida'

if __name__ == "__main__":
        # TO Open file then iterate thru the urls/bacterias 
        # with open('file.txt', 'rU') as f:
        #   for url in f:
        #      get_growth_temp(url)
     get_growth_temp(url)

编辑：

我在这里传递单个 url。如果你想传递多个 url 来获取它们的生长温度。通过打开文件调用函数（url）。代码被注释了。

希望对你有所帮助.. 谢谢