README

此模块可阻止搜索引擎机器人爬取和索引正在开发中的网站。只有当您不希望网站被索引时才应启用此模块。请将网站“上线”后禁用此模块。

这是一个简单的 Drupal 功能模块，通过 X-Robots-Tag HTTP 头阻止搜索引擎机器人索引网站。

使用方法：启用功能。这将导致所有对您网站的请求都返回以下 HTTP 头

X-Robots-Tag:noindex,nofollow,noarchive

您可能需要在网站上线前禁用此模块。

要测试是否正常工作，您可以使用 curl

curl -I https://foo.stanford.edu/

HTTP 头将写入 stdout

或者，如果您想更复杂一点

curl -sS -I https://foo.stanford.edu/ | grep 'X-Robots'

这将输出 "X-Robots-Tag: noindex,nofollow,noarchive"，如果头被正确发送。

这将阻止（行为良好的）搜索引擎机器人爬取您的网站。

安装

像安装其他模块一样安装此模块。查看 Drupal 文档

无需特殊配置。

如果您在使用此模块时遇到问题，请先尝试回滚功能。如果问题仍然存在，请尝试在 GitHub 问题页面发布问题。

欢迎您为此模块贡献功能、错误修复或文档。如果您想建议修复或新功能，您可以向 GitHub 问题队列添加新问题，或者您可以分支此存储库并提交拉取请求。有关更多信息，请参阅 GitHub 关于分支、分支和拉取请求的文章