我想用python解析从html中读取典型数据

Question

我尝试使用api读取公司财务数据。

所以我访问了 html 数据，我想用 python 解析 html 数据，但我不知道如何读取典型数据。有代码可以给我html数据

url = "http://dart.fss.or.kr/api/search.json?auth="+API_KEY \
  +"&crp_cd="+company_code + "&page_set=100" \
  +"&start_dt=19990101&bsn_tp=A001&bsn_tp=A002&bsn_tp=A003"

json_data = requests.get(url).json()
list = json_data['list']

data = pd.DataFrame.from_dict(list)

url2 = "http://dart.fss.or.kr/dsaf001/main.do?rcpNo="+data['rcp_no'][0]


print("Total number of report : ", json_data['total_count'])

temp = requests.get(url2)

html = temp.text

soup = BeautifulSoup(html, "html.parser")

下面的文字是soup的一部分，是我从api得到的html信息。

treeNode2 = new Tree.TreeNode({
        text: "3. asset",
        id: "6",
        cls: "text",
        listeners: {
            click: function() {viewDoc('20180515000480', '6177478', '6', '58846', '899', 'dart3.xsd');}
        }
    });
    cnt++;

我想阅读

6177478

来自

{viewDoc('20180515000480', '6177478', '6', '58846', '899', 'dart3.xsd');}

我认为正则表达式将有助于检测数据。但是，我根本没有使用过正则表达式，所以请帮助我。

** 这段代码是我试图读取数据的，但根本不起作用。

pattern = re.compile(r'\.viewDoc\("\d", "\d", "\s", "\s", "\w", "\w")', re.MULTILINE | re.DOTALL)

script = soup.find_all(pattern)

感谢您的建议。

Answer 1

首先，我看到您的正则表达式使用的引号与输入不同。这里

{viewDoc('20180515000480', '6177478', '6', '58846', '899', 'dart3.xsd');}

是 ' 并且在您的正则表达式中是 " - 这将不匹配。

其次 - 在您的示例中使用的 \d character class 只会匹配一个字符。如果您知道要匹配的字符数，则可以像这样指定重复：

• \d{1,4} 1 到 4 个字符 - 012、9 会匹配，但 1123445682 不会匹配，因为它太长了
• \d{1,} 一个或多个字符 - 写得更好\d+
• \d{0,} 零个或多个字符 - 写得更好\d*

您可以阅读更多关于 repetition in Python docs 的信息（我真的认为他们很棒！）。

此外，需要在此处指定 capturing group，因此当您使用长正则表达式时，只会返回组中的内容。 这是如何工作的简单示例

>>> p = re.compile(r'\b(\d+)\b')
>>> p.findall('my lucky number is 13 not 7')
['13', '7']

如果您只想匹配第二个数字（就像您的情况一样），您可以在编写正则表达式时使用上下文知识：

>>> p = re.compile(r'\d+ not (\d+)')
>>> p.findall('my lucky number is 13 not 7')
['7']

总而言之，您应该使用捕获组并确保使用正确的重复说明符，以下是适合您的示例正则表达式：

>>> string = "{viewDoc('20180515000480', '6177478', '6', '58846', '899', 'dart3.xsd');}"
>>> pattern = re.compile(r'viewDoc\(\'\d+\', \'(\d+)\', .+\)', re.MULTILINE | re.DOTALL)
>>> pattern.findall(string)
['6177478']

编辑： 另外，对于 BeautifulSoup，我建议使用他们的方法 find_all()，例如 they show in the docs：

soup.find_all(string=pattern)

引用文档以阐明其作用（强调我的）：

使用string，您可以搜索字符串而不是标签。 (...) 您可以传入字符串、正则表达式、列表、函数或值 True。