README

确定页面是否可以从robots.txt、robots元标签和robot头部中被爬取。

支持我们

我们投入了大量资源来创建一流的开放源代码包。您可以通过购买我们的付费产品之一来支持我们。

我们非常感谢您从您的家乡给我们寄来明信片，说明您正在使用我们的哪个包。您可以在我们的联系方式页面上找到我们的地址。我们将所有收到的明信片发布在我们的虚拟明信片墙上。

安装

您可以通过composer安装此包

composer require spatie/robots-txt

使用

$robots = Robots::create();
$robots->mayIndex('https://www.spatie.be/nl/admin');
$robots->mayFollowOn('https://www.spatie.be/nl/admin');

您还可以指定一个用户代理

$robots = Robots::create('UserAgent007');

默认情况下，Robots将会在https://host.com/robots.txt上查找robots.txt文件。您也可以指定其他位置，如下所示

$robots = Robots::create()
    ->withTxt('https://www.spatie.be/robots-custom.txt');
$robots = Robots::create()
    ->withTxt(__DIR__ . '/public/robots.txt');

测试

composer test

变更日志

请参阅变更日志以获取有关最近更改的更多信息。

贡献

请参阅贡献指南以获取详细信息。

安全

如果您发现任何与安全相关的问题，请通过电子邮件freek@spatie.be与我们联系，而不是使用问题跟踪器。

明信片软件

您可以使用此包，但如果它进入了您的生产环境，我们非常感谢您从您的家乡给我们寄来明信片，说明您正在使用我们的哪个包。

我们的地址是：Spatie，Kruikstraat 22，2018 安特卫普，比利时。

我们将所有收到的明信片发布在我们的公司网站上。

鸣谢

许可

MIT许可（MIT）。请参阅许可文件以获取更多信息。

sonhb99 /robots-txt

维护者

详细信息

README

支持我们

安装

使用

测试

变更日志

贡献

安全

明信片软件

鸣谢

许可