使用 Python 从 html 中的脚本对象函数获取文本/属性

Question

我一直在一个需要获取 javascript 的网站上进行网页抓取，以便提取名称、创建日期和一些随机生成的代码等数据，如下所示...

是否有一种有效/任何方式从 html 网页的 <script type="text/javascript"> 中的脚本对象函数中获取文本/属性。

我用 BeautifulSoup 找到了脚本部分，其中嵌入的函数如下：

<script type="text/javascript">

//COMMENT// Some data already here

$(document).ready(function() {
    name.init("<website Link>")
    lang.init("en", "GB")
    data.init("hello", "", "AT3K21SDV", "YIERE34ITEW832WCNG3VMASJKHO345JKRELRK5", "")
});
</script>

具体来说，我需要获取包含AT3K21SDV 和YIERE34ITEW832WCNG3VMASJKHO345JKRELRK5 的$(document).ready(function() 部分。

我一直在绞尽脑汁尝试使用这样的索引来获取它； `soup[3:40] 但不起作用

Answer 1

beautifulsoup 不解析 JavaScript，所以你需要使用其他工具。比如re提取信息：

import re
from ast import literal_eval


txt = '''<script type="text/javascript">

//COMMENT// Some data already here

$(document).ready(function() {
    name.init("<website Link>")
    lang.init("en", "GB")
    data.init("hello", "", "AT3K21SDV", "YIERE34ITEW832WCNG3VMASJKHO345JKRELRK5", "")
});
</script>'''

data = re.search(r'data\.init(\(.*?\))', txt).group(1)
data = literal_eval(data)

print(data[2], data[3])

打印：

AT3K21SDV YIERE34ITEW832WCNG3VMASJKHO345JKRELRK5

---

编辑：如果data.init(...) 内是换行符，则必须在re.search() 中设置flags=re.DOTALL：

import re
from ast import literal_eval


txt = '''<script type="text/javascript">

//COMMENT// Some data already here

$(document).ready(function() {
    ab.info.init("sv", "pp", "f", "NONE",
        "rw", "3r7u6565667",
        "3435345")
});
</script>'''

data = re.search(r'info\.init(\(.*?\))', txt, flags=re.DOTALL).group(1)
data = literal_eval(data)

print(data)

打印：

('sv', 'pp', 'f', 'NONE', 'rw', '3r7u6565667', '3435345')