Python - 我如何使用 bs4 抓取 javascript 代码）？

Question

所以我一直在尝试从 html 中提取一个 javascript 值。代码中有很多 javascript，但我只想能够打印出这个：

var spConfig=newProduct.Config({
  "attributes": {
    "531": {
      "id": "531",
      "options": [
        {
          "id": "18",
          "hunter": "0",
          "products": [
            "128709"
          ]
        },
        {
          "label": "40 1\/2",
          "hunter": "0",
          "products": [
            "120151"
          ]
        },
        {
          "id": "33",
          "hunter": "0",
          "products": [
            "120152"
          ]
        },
        {
          "id": "36",
          "hunter": "0",
          "products": [
            "128710"
          ]
        },
        {
          "id": "42",
          "hunter": "0",
          "products": [
            "125490"
          ]
        }
      ]
    }
  },

  "Id": "120153",

});

所以我开始编写如下代码：

test = bs4.find_all('script', {'type': 'text/javascript'})
print(test)

我得到的输出非常大，所以我不能在这里全部发布，但其中之一是我在顶部提到的 javascript，我只想打印出 var spConfig=newProduct.Config。

我怎样才能做到这一点，以便能够打印出var spConfig=newProduct.Config....，然后我可以使用 json.loads 将其转换为 json，以便我以后可以更轻松地抓取它？

对于任何问题或我没有很好解释的事情。我会在评论中欣赏所有我可以在stackoverflow中提高自己的东西！ :)

编辑：

bs4 为 javascripts 打印的更多示例

<script type="text/javascript">varoptionsPrice=newProduct.Options({
  "priceFormat": {
    "pattern": "%s\u00a0\u20ac",
    "precision": 2,
    "requiredPrecision": 2,
    "decimalSymbol": ",",
    "groupSymbol": "\u00a0",
    "groupLength": 3,
    "integerRequired": 1
  },
  "showBoths": false,
  "idSuffix": "_clone",
  "skipCalculate": 1,
  "defaultTax": 20,
  "currentTax": 20,
  "tierPrices": [

  ],
  "tierPricesInclTax": [

  ],
  "swatchPrices": null
});</script>,
<script type="text/javascript">var spConfig=newProduct.Config({
  "attributes": {
    "531": {
      "id": "531",
      "options": [
        {
          "id": "18",
          "hunter": "0",
          "products": [
            "128709"
          ]
        },
        {
          "label": "40 1\/2",
          "hunter": "0",
          "products": [
            "120151"
          ]
        },
        {
          "id": "33",
          "hunter": "0",
          "products": [
            "120152"
          ]
        },
        {
          "id": "36",
          "hunter": "0",
          "products": [
            "128710"
          ]
        },
        {
          "id": "42",
          "hunter": "0",
          "products": [
            "125490"
          ]
        }
      ]
    }
  },

  "Id": "120153"
});</script>,
<scripttype="text/javascript">document.observe('dom:loaded',
function(){
  varswatchesConfig=newProduct.ConfigurableSwatches(spConfig);
});</script>

编辑更新 2：

try:
    product_li_tags = bs4.find_all('script', {'type': 'text/javascript'})
except Exception:
    product_li_tags = []


for product_li_tag in product_li_tags:
   try:
        pat = "product.Config\((.+)\);"
        json_str = re.search(pat, product_li_tag, flags=re.DOTALL).group(1)
        print(json_str)
   except:
       pass

#json.loads(json_str)
print("Nothing")
sys.exit()

Answer 1

我可以想到 3 个可能的选项 - 您使用哪一个可能取决于项目的规模以及您需要它的灵活性

• 使用正则表达式从脚本中提取对象（最快，最不灵活）

• 使用ANTLR或类似（如pyjsparser）解析js语法

• 使用 Selenium 或其他可以为您解释 JS 的无头浏览器。使用此选项，您可以使用 selenium 执行调用以获取变量 like this

的值

正则表达式示例（#1）

>>> script_body = """
    var x=product.Config({
        "key": {"a":1}
});
"""
>>> pat = "product.Config\((.+)\);"
>>> json_str = re.search(pat, script_body, flags=re.DOTALL).group(1)
>>> json.loads(json_str)
{'key': {'a': 1}}
>>> json.loads(json_str)['key']['a']
1

Answer 2

您可以使用.text 函数来获取每个标签内的内容。然后，如果您知道要获取专门以“varoptionsPrice”开头的代码，则可以对其进行过滤：

soup = BeautifulSoup(myhtml, 'lxml')

script_blocks = soup.find_all('script', {'type': 'text/javascript'})
special_code = ''
for s in script_blocks:
    if s.text.strip().startswith('varOptionsPrice'):
        special_code = s.text
        break

print(special_code)

编辑：要在 cmets 中回答您的问题，有几种不同的方法可以提取具有 JSON 的文本部分。您可以通过正则表达式传递它以获取第一个左括号之间和最后 ); 之前的所有内容。虽然如果你想完全避免正则表达式，你可以这样做：

json_stuff = special_code[special_code.find('(')+1:special_code.rfind(')')]

然后用它制作一个可用的字典：

import json
j = json.loads(json_stuff)
print(j['defaultTax'])  # This should return a value of 20