README

这个库提供了用于简化robots.txt操作的实用工具函数。如果你想检查URL是否遵守robots.txt策略（可选缓存），那么你真幸运 ;)

安装

使用composer安装包

composer require hugsbrugs/php-robots-txt

在PHP代码中加载库

require_once __DIR__ . '/../vendor/autoload.php';
use Hug\Robots\Robots as Robots;

返回页面是否遵守robots.txt策略可访问。可选地传递一个用户代理以检查UA策略。

Robots::is_allowed($url, $user_agent = null);

使用此简单方法，每次请求都会触发远程robots.txt的调用。要启用缓存，请定义以下变量

define('HUG_ROBOTS_CACHE_PATH', '/path/to/robots-cache/');
define('HUG_ROBOTS_CACHE_DURATION', 7*86400);

缓存时间（秒）（86400：1天）不要忘记使路径可由web服务器用户写入，robots.txt文件是gzip压缩的以节省磁盘空间

除非你想玩代码并对其进行调整，否则通常不需要以下方法！

Robots::download_robots($url, $user_agent);
Robots::get_robots($url, $user_agent);
Robots::is_cache_obsolete($file);
Robots::empty_cache();

phpunit --bootstrap vendor/autoload.php tests