通过 
搜索
搜索spatie / robots-txt
判断页面是否可以从robots.txt和robots元标签中被爬取
2.2.1
2024-08-09 09:07 UTC
Requires
- php: ^8.1
Requires (Dev)
- phpunit/phpunit: ^9.0|^10.0
README
判断页面是否可以从robots.txt、robots元标签和robot头部中被爬取。
支持我们
我们在创建最佳开源包上投入了大量资源。您可以通过购买我们的付费产品来支持我们。
我们非常感谢您从家乡寄给我们明信片，并提到您正在使用我们的哪个包。您可以在我们的联系页面上找到我们的地址。我们将所有收到的明信片发布在我们的虚拟明信片墙上。
安装
您可以通过composer安装此包
composer require spatie/robots-txt
用法
$robots = Spatie\Robots\Robots::create(); $robots->mayIndex('https://www.spatie.be/nl/admin'); $robots->mayFollowOn('https://www.spatie.be/nl/admin');
您还可以指定一个用户代理
$robots = Spatie\Robots\Robots::create('UserAgent007');
默认情况下，Robots将在https://host.com/robots.txt上查找robots.txt文件。另一个位置可以指定如下
$robots = Spatie\Robots\Robots::create() ->withTxt('https://www.spatie.be/robots-custom.txt'); $robots = Spatie\Robots\Robots::create() ->withTxt(__DIR__ . '/public/robots.txt');
测试
composer test
更新日志
请参阅更新日志了解最近的变化。
贡献
请参阅贡献指南以获取详细信息。
安全漏洞
请参阅我们的安全策略了解如何报告安全漏洞。
明信片软件
您可以使用此包，但如果它进入您的生产环境，我们非常感谢您从家乡寄给我们明信片，并提到您正在使用我们的哪个包。
我们的地址是：Spatie，Kruikstraat 22，2018 安特卫普，比利时。
我们将所有收到的明信片发布在我们的公司网站上。
致谢
许可证
MIT许可证（MIT）。请参阅许可证文件以获取更多信息。