信息提取 - htmls

Question

我有一堆具有相同设置的 HTML 文件。从这些（本地存储的 HTML）中，我想提取黄色标记的字段（example）。 作为文本（只有我感兴趣的 div 部分），可以在 Dropbox 上找到总 html： https://www.dropbox.com/s/uka24w7o5006ole/transcript-86-855.html?dl=0

<DIV id=article_participants class="content_part hid">
<P>Redhill Biopharma Ltd. (NASDAQ:<A title="" href="http://seekingalpha.com/symbol/rdhl" symbolSlug="RDHL">RDHL</A>)</P>
<P>Q4 2014 <SPAN class=transcript-search-span style="BACKGROUND-COLOR: yellow">Earnings</SPAN> Conference <SPAN class=transcript-search-span style="BACKGROUND-COLOR: #f38686">Call</SPAN></P>
<P>February 26, 2015 9:00 AM ET</P>
<P><STRONG>Executives</STRONG></P> 
<P>Dror Ben Asher - CEO</P>
<P>Ori Shilo - Deputy CEO, Finance and Operations</P>
<P>Guy Goldberg - Chief Business Officer</P>
<P><STRONG>Analysts</STRONG></P>

我对 Python 了解不多，但我认为使用 Beautiful soup 这应该是双倍的，但我被困住了。 到目前为止我得到的是：

import textwrap
import os
from bs4 import BeautifulSoup

directory ='C:/Research syntheses - Meta analysis/SeekingAlpha/out'
for filename in os.listdir(directory):
    if filename.endswith('.html'):
        fname = os.path.join(directory,filename)
        with open(fname, 'r') as f:
            soup = BeautifulSoup(f.read(),'html.parser')

我的输出应该是一个 csv 文件，其中包含： 行政人员姓名/行政人员职能/代码代码/期间

Answer 1

以下代码从黄色位置提取文本。

我认为最简单的方法是使用 XPath。据了解 bs4 不支持 XPath，因此代码使用 lxml。我希望这种差异对您有用。输出文件名为 egg.csv

为了让它适合你，改变目录变量。

*这适用于 Windows。在其他平台中，您必须更改“目录”变量的形式。

import textwrap
import os
from lxml import html
import csv

directory=r"C:\Users\Anita Pania\Desktop"
for filename in os.listdir(directory):
    if filename.endswith('.html'):
        fname = os.path.join(directory,filename)
        with open(fname, 'r') as f:
            page=f.read()
            tree = html.fromstring(page)
            y1=(tree.xpath("/html/body/div/p[1]/a/text()"))
            y2=(tree.xpath("/html/body/div/p[2]/text()"))[0]
            y3=(tree.xpath("/html/body/div/p[5]/text()"))
            y4=(tree.xpath("/html/body/div/p[6]/text()"))
            y5=(tree.xpath("/html/body/div/p[7]/a/text()"))
            #soup = BeautifulSoup(f.read(),'html.parser')

with open('eggs.csv', 'w', newline='') as csvfile:
    filewriter = csv.writer(csvfile, delimiter=',',quotechar='|', quoting=csv.QUOTE_MINIMAL)
    filewriter.writerow(['Name of executive', y3])
    filewriter.writerow(['Function of executive', y4])
    filewriter.writerow(['Symbol ticker', y1])
    filewriter.writerow(['Period', y2])
    filewriter.writerow(['Other', y5])