Python在网页中读取表单

Question

我阅读了一些html格式的网页内容，格式如下：

<div class="cart">
                    <div class="cart-title">
                        <img src="https://ug3.technion.ac.il/rishum/img/regCourses.png" width="50" height="50" alt="My Courses">
                        המקצועות שלי
                    </div><div class="entry-spacer"></div><div class="cart-entry">
                    <div class="course-number">
                    <a href="https://ug3.technion.ac.il/rishum/course/104134">104134</a>
                </div>
                <div class="course-name">
                    אלגברה מודרנית ח                 
                </div>
                <div class="course-points">
                    2.5 נק'
                </div>
                <div class="entry-group">
                    קבוצה 11
                </div><div class="change-group">
                שנה קבוצה ל
                <select name="UPG104134" onchange="showWaitAndSubmit('regCart')" class="change-group-options">
                    <option value=""> </option><option>12</option><option>13</option><option>21</option><option>22</option><option>23</option>
                </select>
                </div><div class="more-actions">
                </div>
                    <div class="clear"></div></div><div class="entry-spacer"></div><div class="cart-entry">
                    <div class="course-number">
                    <a href="https://ug3.technion.ac.il/rishum/course/234118">234118</a>
                </div>
                <div class="course-name">
                    ארגון ותכנות המחשב               
                </div>
                <div class="course-points">
                    3 נק'
                </div>
                <div class="entry-group">
                    קבוצה 22
                </div><div class="change-group">
                שנה קבוצה ל
                <select name="UPG234118" onchange="showWaitAndSubmit('regCart')" class="change-group-options">
                    <option value=""> </option><option>11</option><option>12</option><option>13</option><option>14</option><option>21</option>
                </select>
                </div><div class="more-actions">
                </div>
                    <div class="clear"></div></div><div>

现在的问题是如何阅读我的图片中以蓝色显示的课程编号？？

以下是课程编号在网页中的显示示例：

<div class="course-number">
                    <a href="https://ug3.technion.ac.il/rishum/course/104134">104134</a>
                </div>

我想阅读：104134 在这个例子中

Answer 1

首先，我建议使用 BeautifulSoup 来解析 HTML，然后，在我的脑海中，你应该像这样挖掘那些具有类名的 div 标签。

from bs4 import BeautifulSoup

r = requests.get(<your-target>)

soup = BeautifulSoup(r.text, 'lxml')

numbers = [i.a.text for i in soup.find_all('div', attrs={"class": "course-number"})]

我没有检查这个，但如果它真的不起作用，考虑到这一点，你应该找到一个解决方案。查看BeautifulSoup 的文档了解更多信息。

注意，在前面的循环中，如果i没有a标签会抛出错误，所以如果你不相信网站的结构总是一样的，最好做一个正常的for-loop 并有一个 try-except 或以某种方式处理它。

请注意，前面的方法将获取所有div 类为course-number 的标签。您可能只需要其中的一个子集，因此您应该应用更多过滤或先遍历 HTML 树，直到到达目标内容的根目录。