查找可能的 URL 参数

Question

我正在尝试用 Ruby/Mechanize 编写一个网络爬虫。我试图实现的一件事是一个可以找到潜在 URL 参数的函数。这是一个sn-p：

require 'mechanize'
def find_parameters(url)
    mechanize = Mechanize.new
    result = []
    # build list of potential parameters at URL
    result # return
end

想象一下发送 URL http://example.com/。在example.com 上有一个index.php 文件，它接受一个URL 参数调用baz，并将该参数的值打印到页面。

<?php
    if (isset($_GET['baz'])) {
        echo $_GET['baz'];
    }
?>

因此http://example.com?baz=123 将转到打印123 的页面。我们知道查看源代码baz 是一个潜在参数，有没有办法让 Mechanize 找到所有潜在参数并返回它们的列表？

例如：find_parameters('http://example.com/') => ['baz']

Answer 1

你可以调整字符串：

require 'mechanize'
def find_parameters(url)
  mechanize = Mechanize.new
  result = []
  mechanize.get(url)  #go to the page
  # get the current page, split in the possible parameters list, split by parameters
  # (rescue in case there are no params)
  ( mechanize.page.uri.to_s.split("?")[1].split("&") rescue []).each do |key_val| 
    # split the pair of param and value, and store the param name
    result << key_val.split("=")[0]
  end
  return result
end