我的带有特殊参数的 URL 无法在 google 中获取和索引，我有爬虫错误

Question

我的带有特殊参数的 URL 无法在 google 中获取和索引，并且我的所有 URL 的爬虫错误都包含此参数“#！”

mysite.com/products/دوربین/1187/view/#!/productgroup-1187/attributes-576644-2207/

并在 google 中获取仅支持此：/products/دوربین/1187/view/ 意思是在包含“#!”的 URL 之后并且 google fetch 在
/products/دوربین/1187/view/

此参数用于排序和过滤 在 google URL 参数中显示参数为“_escaped_fragment_”我改变了如下图

抓取错误网址：mysite.com/products/%DA%AF%D9%88%D8%B4%DB%8C/1145/view/?_escaped_fragment_=/productgroup-1145/attributes -100686-2305/

enter image description here

Answer 1

我认为您可以使用这样的网站对这些字符进行编码：http://www.url-encode-decode.com 例如：

mysite.com/products/دوربین/1187/view/#!/productgroup-1187/attributes-576644-2207

变成：

mysite.com%2Fproducts%2F%D8%AF%D9%88%D8%B1%D8%A8%DB%8C%D9%86%2F1187%2Fview%2F%23%21%2Fproductgroup-1187%2Fattributes-576644-2207

根据您使用的语言，有一些库函数可以帮助您以编程方式实现此翻译。

当您使用 C# 时，您可以尝试 UriBuilder 类。下面是一些演示代码：

using System;

namespace ConsoleApplication1
{
    class Program
    {
        static void Main(string[] args)
        {
            var oURL = new UriBuilder("mysite.com/products/دوربین/1187/view/#!/productgroup-1187/attributes-576644-2207");
            string sEscapedURL = oURL.Uri.AbsoluteUri;

            Console.WriteLine("sEscapedURL = {0}", sEscapedURL);
            Console.ReadLine(); //Pause
        }
    }
}