网络爬虫用问号替换一些字符

Question

我制作了一个简单的网络抓取工具，它为我抓取歌词，然后将其写入数据库。一切正常，但由于某种原因，它用问号替换了一些字符，当我在一个简单的 php 网页上查看此信息时，我发现歌词中有很多错误。

I?m = I'm
Let?s = Let's
haven?t = haven't
stuff like that.

我知道错误出在 c# 和我的代码中，因为我在它写入数据库之前放置了一个断点，并将它显示在富文本框中。我怎样才能让它正确显示这些字符？

        public static string getSourceCode(string url)
        {
            HttpWebRequest req = (HttpWebRequest)WebRequest.Create(url);
            HttpWebResponse resp = (HttpWebResponse)req.GetResponse();
            StreamReader sr = new StreamReader(resp.GetResponseStream());
            string sourceCode = sr.ReadToEnd();
            sr.Close();
            resp.Close();
            return sourceCode;
        }
........
string url = txbURL2.Text;

string sourceCode = sourceCode = WorkerClass.getSourceCode(url);
int startIndex = sourceCode.IndexOf("<td valign=\"top\" width=\"100%\">");
sourceCode = sourceCode.Substring(startIndex, sourceCode.Length - startIndex);
........
//Gets Lyric
startIndex = sourceCode.IndexOf("<br><b>Lyrics:</b><br><br>") + 30;
endIndex = sourceCode.IndexOf("     <br><br>", startIndex);
string lyric = sourceCode.Substring(startIndex, endIndex - startIndex) + "";
rtbLyric.Text = lyric;
//End Lyric

Answer 1

问题可能是字符编码。我的猜测是你正在抓取的网页是用 UTF8 编码的，但是你正在转换为 ASCII。

查看名为“What every developer should know about character encoding”的优秀文章了解更多详情。

更新

你可以试试这个，虽然 StreamReader 应该默认为 UTF-8：

var encoding = System.Text.Encoding.GetEncoding("utf-8");
StreamReader sr = new StreamReader(resp.GetResponseStream(), encoding);  

Answer 2

通过在 html 代码中搜索字符集来检查编码。
您的代码片段错过了实际的加载过程，因此无法判断哪里出错了。

Answer 3

您也可以尝试使用 WebClient：

WebClient client = new WebClient { Encoding = Encoding.UTF8 };
string html = client.DownloadString(url);