根据唯一值过滤列表中的每个子域

Question

我有两个列表或网址 第一个listofdomains.txt 包含以下内容

http://example.com
https://www.example.com
https://abc-test.example.com

第二个urls_params.txt 包含如下

http://example.com/?param1=123
http://example.com/?param1=123&param2=456
https://www.example.com/?param1=123
https://www.example.com/?param1=123&param2=456
https://abc-test.example.com/?param1=123
https://abc-test.example.com/?param1=123&param2=456

我需要在两个列表之间循环以从urls_params.txt grep 所有网址都属于每个子域并将其保存为 subdomain name.txt

例如，所需的输出是 文件名为 example.com 并包含

http://example.com/?param1=123
http://example.com/?param1=123&param2=456

其他子域以此类推

我不起作用的解决方案是将listofdomains.txt 列表过滤为仅作为

example.com
www.example.com
abc-test.example.com

并将其保存在名为 list 的文件中 然后执行以下命令 while read -r url; do $(cat urls_params.txt | awk -v u="$url" '{print u}') ; done < list

但是输出是错误的

example.com: command not found
www.example.com: command not found
abc-test.example.com: command not found

谢谢

Answer 1

输入（来自问题）：

$ ls
listofdomains.txt  tst.awk  urls_params.txt

脚本：

$ cat tst.awk
{
    dom = $0
    sub("https?://","",dom)
    sub("/.*","",dom)
}
NR==FNR {
    dom2urls[dom] = dom2urls[dom] $0 ORS
    next
}
dom != prev {
    close(out)
    out = dir "/" dom
    prev = dom
}
{ printf "%s", dom2urls[dom] > out }

执行它：

$ awk -v dir="$PWD" -f tst.awk urls_params.txt listofdomains.txt

输出：

$ ls
abc-test.example.com  example.com  listofdomains.txt  tst.awk  urls_params.txt  www.example.com

$ head *.com
==> abc-test.example.com <==
https://abc-test.example.com/?param1=123
https://abc-test.example.com/?param1=123&param2=456

==> example.com <==
http://example.com/?param1=123
http://example.com/?param1=123&param2=456

==> www.example.com <==
https://www.example.com/?param1=123
https://www.example.com/?param1=123&param2=456

您实际上并不需要 listofdomains.txt，除非您想从输出中排除某些域，或者您希望获取空输出文件的某些域未包含在 urls_params.txt 中。

如果您只想为在 urls_params.txt 文件中有条目的域创建输出文件（即没有空的输出文件），那么只需更改：

{ printf "%s", dom2urls[dom] > out }

到：

dom in dom2urls { printf "%s", dom2urls[dom] > out }

Answer 2

找到了

while read -r url ; do cat urls_params.txt | grep -E "$url" | tee $url.txt ; done < list