Tcl/Tk 中是否有显示链接中所有可用 url 的功能？我想开始编写一个具有一些功能的网络爬虫。
For example:
the user types this:
"www.testsite.com"
and he will get that:
"www.testsite.com/dir1/"
"www.testsite.com/dir2/"
e.g.
还是用 phyton 等其他语言对其进行编程更好？
br
【问题讨论】：
使用 http 和 tDOM 包非常容易。你只需要知道一点 XPath...
package require http
package require tdom
set tok [http::geturl http://example.com/index.html]
set html [http::data $tok]
http::cleanup $tok
set doc [dom parse -html $html]
foreach anchor [$doc selectNodes "//a"] {
puts [$anchor @href]
}
【讨论】：
a元素而没有href属性（例如名称锚点），可以使用foreach href [$doc selectNodes {//a/@href}] {puts [lindex $href end]}。
//a[@href]；你不想要属性节点，你只想指定它们在那里。