Robots.txt、php.ini、connect_to_database.php、.htaccess答案

【问题标题】：Robots.txt, php.ini, connect_to_database.php, .htaccessRobots.txt、php.ini、connect_to_database.php、.htaccess
【发布时间】：2019-12-13 09:21:21
【问题描述】：

我似乎无法在任何地方找到关于我是否应该禁止/php.ini 之类的配置文件或/.htaccess 之类的隐藏文件的答案？那么像/includes 或/includes/connect_to_database.php 这样的东西呢？

我在 ProWebmasters 和其他地方读到过我们不应该 disallow: /*.js$ 或 /*.css$，但几乎所有这些答案都已有近十年的历史了。此外，robots.txt 的目的是确定索引的内容，而不是爬取的内容，不是吗？我的意思是，我们不希望爬虫试图索引我们的 css 和 js 文件。

即使是 Google 自己的关于 robots.txt 的文档似乎也没有涵盖这些内容。有人知道网络上某处与这些东西有关的信息资源吗？

谢谢

【问题讨论】：

如果这些文件可以公开访问，那么您就有巨大的安全问题。
@JohnConde 它不是专门针对 SEO 或优化，而是简单地让网站编入索引

标签： .htaccess web-crawler seo robots.txt googlebot

【解决方案1】：

robots.txt 文件中应提供在网络浏览器和搜索蜘蛛（例如 Google Bot）中呈现整个页面所需的文件。允许文件 css、js、图像 jpg、jpeg、png、字体。

由 PHP 加载的文件（include() 和 require()，例如 connect_to_database.php）和配置 (php.ini) 应该是公众无法访问的，并在 .htaccess 文件中被阻止。

【讨论】：