【发布时间】:2021-09-29 01:10:10
【问题描述】:
当我在 Mac 上的 Safari、Chrome 或 Firefox 中“查看源代码”(使用 cmd-I )google.com/robots.txt 时,我看到了:
<html>
<head></head>
<body>
<pre style="word-wrap: break-word; white-space: pre-wrap;">…</pre>
</body>
</html>
HTML 来自哪里?
Google 的 robots 文件只是一个示例——我在所有浏览器中对所有文本文件都得到了相同的结果。
我之所以这么问,是因为我正在编写一个 Python 程序来生成 robots.txt 和 sitemap.txt 文件,并且我想确保发送了正确的标头。
在源代码中看到 HTML 让我担心我的标题不正确。
Google 的 robots.txt 文件具有相同的 HTML 这一事实让我确信这是正常的,但我想知道为什么会这样。
自 1995 年以来我一直在构建网站,不记得曾经注意到过这种行为。
【问题讨论】:
-
不要看源码,从开发者工具->网络->然后点击飞
-
我只是在所有三个浏览器中都使用了cmd-opt-I,默认显示“元素”。我什至没有想到不同的选项卡会显示不同的代码。
标签: html text browser view-source