README

本模块为Silverstripe提供简单的robots.txt生成功能，并提供多种配置选项。

当网站不在实时模式（如测试域名）时，它会分别阻止整个域名，确保（至少是尊重的）搜索引擎不会索引您的测试网站。

此功能不支持复杂规则（如针对不同用户的多个规则），因为它旨在满足99.9%不需要手动配置的情况。

鸣谢和作者

• Damian Mooyman - https://github.com/tractorcow/silverstripe-robots

要求

• Silverstripe 4或更高版本

安装说明

• 将所有文件解压到Silverstripe根目录下的'robots'文件夹中，或者使用composer安装

composer require "tractorcow/silverstripe-robots": "^4"

• 确保您已正确设置环境，以便其正常运行
• 建议您安装googlesitemaps模块，或者在其网站根目录中创建物理sitemap.xml文件。

配置

您可以通过将页面或模式添加到disallowedUrls配置中，来阻止它。

---
Name: myrobotsconfiguration
---
TractorCow\Robots\Robots:
  disallowed_urls:
    - 'mysecretpage.html'
    - '_private'
    - 'Documents-and-Settings/Ricky/My-Documents/faxes/sent-faxes'

默认情况下，任何将'ShowInSearch'设置为false的页面也将被排除。这可以用于隐藏辅助页面，如“感谢您注册”或错误页面。

您可以使用以下方式将其关闭（如果您确实认为需要）

---
Name: myrobotsconfiguration
---
TractorCow\Robots\Robots:
  disallow_unsearchable: false

默认情况下，模块将在/sitemap.xml中查找sitemap文件，或者如果安装了googlesitemap模块，则假设存在。您可以使用以下配置设置自定义文件位置。

---
Name: myrobotsconfiguration
---
TractorCow\Robots\Robots:
  sitemap: '/sitemap_index.xml'

需要更多帮助？

给我发消息或发电子邮件至damian.mooyman@gmail.com，或者，读读代码吧！

许可证

版权（c）2013，Damian Mooyman。保留所有权利。

版权所有。

在满足以下条件的情况下，允许重新分发和使用源代码和二进制代码，无论是否修改：

• 源代码的重新分发必须保留上述版权声明、本条件列表和以下免责声明。
• 二进制形式的重新分发必须复制上述版权声明、本条件列表和以下免责声明在随分发提供的文档和其他材料中。
• 未经Damian Mooyman的书面许可，不得使用Damian Mooyman的名字来推广或宣传从本软件派生的产品。

本软件由版权所有者和贡献者“按原样”提供，并不提供任何明示或暗示的保证，包括但不限于对适销性和针对特定目的的适用性的暗示保证。在任何情况下，无论出于何种原因或根据何种理论（包括疏忽或任何其他行为），即使已被告知本软件可能造成此类损害的风险，也不应对任何直接、间接、偶然、特殊、示范性或继发性损害（包括但不限于替代商品或服务的采购、使用、数据或利润的损失；或业务的中断）承担责任。