通过 
搜索
搜索miisieq / robots-txt-bundle
Symfony 2, 3 & 4 的 Robots.txt 生成器
2.0.1
2018-10-15 20:29 UTC
Requires
- php: ^7.1
- symfony/config: ~2.0|~3.0|~4.0
- symfony/http-kernel: ~2.0|~3.0|~4.0
Requires (Dev)
- phpunit/phpunit: ~5.7 | ^6 | ^7
- symfony/dependency-injection: ~2.0|~3.0|~4.0
- symfony/yaml: ~2.0|~3.0|~4.0
README
问题
在本地环境中工作，然后将代码部署到预生产或测试服务器以供客户批准，最后最终推送到生产环境，这是一个相当常见的流程。
我们绝对希望爬虫索引我们的生产环境，但我们不希望看到我们的测试服务器出现在搜索结果中。
它是如何工作的？
根据 Symfony 环境，应用程序将返回一个 robots.txt 文件，其中包含一个规则，只有在 prod 环境中时才允许索引整个内容。在其他环境中，应用程序将阻止整个站点被索引。
安装
步骤 1：安装软件包
首先，打开命令行，进入您的项目目录，并执行以下命令以下载此软件包的最新版本
composer require miisieq/robots-txt-bundle
步骤 2：在您的内核中注册软件包
然后将软件包添加到您的内核中
class AppKernel extends Kernel { public function registerBundles() { $bundles = [ // ... new Miisieq\RobotsTxtBundle\MiisieqRobotsTxtBundle(), ]; // ... } }
步骤 3：配置软件包
将以下内容添加到您的配置文件中
# app/config/config.yml miisieq_robots_txt: ~
您可以轻松地将链接添加到您的站点地图中
# app/config/config.yml miisieq_robots_txt: host: http://example.com production_environment: prod sitemaps: - "/sitemap.xml" - "/catalog/sitemap.xml"
步骤 4：注册路由
要允许获取您的 robots.txt 文件，请注册以下路由
# app/config/routing.yml miisieq_robots_txt: resource: "@MiisieqRobotsTxtBundle/Resources/config/routes.yaml" prefix: /
步骤 5：删除静态 robots.txt 文件（如果存在）
rm web/robots.txt