adventgroup / php-resque
基于Redis的后端库,用于创建后台任务并在稍后处理它们。基于Ruby的resque。
Requires
- php: >=5.3.0
README
Resque 是一个基于Redis的后端库,用于创建后台任务,将任务放入多个队列,并在稍后处理它们。
背景
Resque 由GitHub的优秀团队(是的,我就是个拍马屁的人)开创并开发,用Ruby编写。你在这里看到的是Resque工作员和入队系统几乎直接移植到PHP的版本。
有关Resque的更多信息,请访问官方GitHub项目:http://github.com/defunkt/resque/
有关更多信息,请参阅GitHub博客上的发布文章:http://github.com/blog/542-introducing-resque
PHP端口不包括自己的用于查看队列统计信息的Web界面,因为数据存储的格式与Resque的Ruby版本完全相同。
PHP端口提供了与Ruby版本几乎相同的特性
- 工作员可以在多台机器之间分配
- 包括对优先级(队列)的支持
- 具有内存泄露恢复能力(Fork)
- 预期失败
它还支持以下附加功能
- 能够跟踪作业的状态
- 如果分叉子进程运行作业并以非0状态码退出,则将作业标记为失败
- 具有内置对
setUp
和tearDown
方法的支持,称为作业的前后方法
要求
- PHP 5.2+
- Redis 2.2+
作业
队列作业
作业按以下方式排队
require_once 'lib/Resque.php';
// Required if redis is located elsewhere
Resque::setBackend('localhost:6379');
$args = array(
'name' => 'Chris'
);
Resque::enqueue('default', 'My_Job', $args);
定义作业
每个作业应在其自己的类中,并包含一个perform
方法。
class My_Job
{
public function perform()
{
// Work work work
echo $this->args['name'];
}
}
当作业运行时,类将被实例化,任何参数都将设置为实例化对象上的数组,并通过$this->args
访问。
作业抛出的任何异常都将导致作业失败 - 在这里要小心,并确保处理不会导致作业失败的异常。
作业还可以有setUp
和tearDown
方法。如果定义了setUp
方法,它将在运行perform
方法之前被调用。如果定义了tearDown
方法,它将在作业完成后被调用。
class My_Job
{
public function setUp()
{
// ... Set up environment for this job
}
public function perform()
{
// .. Run job
}
public function tearDown()
{
// ... Remove environment for this job
}
}
跟踪作业状态
php-resque 有能力执行已排队作业的基本状态跟踪。状态信息将允许您检查作业是否在队列中,目前正在运行,已完成或失败。
要跟踪作业的状态,将true
作为第四个参数传递给Resque::enqueue
。将返回用于跟踪作业状态的令牌
$token = Resque::enqueue('default', 'My_Job', $args, true);
echo $token;
要获取作业的状态
$status = new Resque_Job_Status($token);
echo $status->get(); // Outputs the status
作业状态由Resque_Job_Status
类中的常量定义。有效状态包括
Resque_Job_Status::STATUS_WAITING
- 作业仍在队列中Resque_Job_Status::STATUS_RUNNING
- 作业正在运行Resque_Job_Status::STATUS_FAILED
- 作业已失败Resque_Job_Status::STATUS_COMPLETE
- 作业已完成false
- 无法获取状态 - 令牌是否有效?
状态在作业完成或失败后24小时内可用,然后自动过期。还可以通过在状态类上调用stop()
方法强制过期状态。
工作员
工作员的工作方式与Ruby工作员完全相同。有关工作员的完整文档,请参阅原始文档。
在根目录中包含了一个基本的“启动并运行”的resque.php文件,用于设置运行工作员环境。
与Ruby版本的resque相似性的例外是如何最初设置工作进程。为了在所有环境中工作,不像Ruby那样有一个单一的环境,PHP端口对你的设置没有做出任何假设。
启动工作进程,与Ruby版本非常相似
$ QUEUE=file_serve php resque.php
告诉工作进程要包含哪个文件以开始你的应用程序是你的责任。你通过设置环境变量APP_INCLUDE
来完成
$ QUEUE=file_serve APP_INCLUDE=../application/init.php php resque.php
开始你的应用程序还包括通过自动加载器或包含它们的方式来告诉工作进程你的工作类。
日志记录
端口支持相同的日志记录到STDOUT的环境变量。设置VERBOSE
将打印基本调试信息,而VVERBOSE
将打印详细信息。
$ VERBOSE QUEUE=file_serve php resque.php
$ VVERBOSE QUEUE=file_serve php resque.php
优先级和队列列表
同样,优先级和队列列表功能与Ruby工作进程完全相同。多个队列应该用逗号分隔,它们的提供顺序是它们被检查的顺序。
按照原始示例
$ QUEUE=file_serve,warm_cache php resque.php
file_serve
队列将在检查warm_cache
队列之前在每个迭代中始终检查新工作。
运行所有队列
所有队列以相同的方式支持并按字母顺序处理。
$ QUEUE=* php resque.php
运行多个工作进程
可以通过提供环境变量COUNT
来启动多个工作进程,并自动处理。
$ COUNT=5 php resque.php
进程
与Ruby版本类似,支持的平台在接收到任务后会立即进行派生。派生的子进程会在任务完成后立即退出。
与php-resque的区别在于,如果派生的子进程没有优雅地退出(PHP错误等),php-resque将自动失败该任务。
信号
在支持的平台上,信号的工作方式与Ruby版本的Resque完全相同。
QUIT
- 等待子进程完成处理然后退出TERM
/INT
- 立即杀死子进程然后退出USR1
- 立即杀死子进程但不退出USR2
- 暂停工作进程,不会处理新任务CONT
- 恢复工作进程。
进程标题/状态
Resque的Ruby版本有一个巧妙的功能,即更新工作进程的进程标题以指示工作进程正在做什么,任何派生的子进程也将使用正在运行的作业设置进程标题。这有助于识别服务器上正在运行的过程及其resque状态。
PHP默认情况下没有这个功能。
存在一个PECL模块(http://pecl.php.net/package/proctitle),它可以将此功能添加到PHP中。因此,如果您想更新进程标题,请安装PECL模块。php-resque将检测并使用它。
事件/钩子系统
php-resque有一个基本的事件系统,您可以使用它来自定义一些php-resque内部的行为。
您可以通过使用Resque_Event
注册并提供一个回调来监听事件(如下所示)
Resque_Event::listen('eventName', [callback]);
[callback]
可以是PHP中可以通过call_user_func_array
调用的任何内容
- 一个包含函数名的字符串
- 包含要调用的对象和方法的数组
- 包含要调用的对象和静态方法的数组
- 闭包(PHP 5.3)
事件可以传递参数(如下文所述),因此您的回调应接受这些参数。
您可以通过调用Resque_Event::stopListening
并使用与Resque_Event::listen
相同的参数来停止监听事件。
注册事件监听器由您的应用程序负责。当在应用程序中入队事件时,应确保php-resque已加载并调用Resque_Event::listen
。
运行工作进程时,如果您通过默认的resque.php
脚本运行工作进程,则您的APP_INCLUDE
脚本应初始化并注册操作所需的任何监听器。如果您已经开发了您自己的工作进程管理器,那么注册监听器的责任再次由您承担。
一个示例插件包含在extras
目录中。
事件
beforeFirstFork
在工作进程初始化时调用一次。传入的参数是刚刚初始化的Resque_Worker
实例。
beforeFork
在php-resque分叉以运行作业之前调用。传入的参数包含即将运行的作业的Resque_Job
实例。
beforeFork
在父进程中触发。所做的任何更改将一直持续到工作进程的生命周期。
afterFork
在php-resque分叉以运行作业(但在作业运行之前)调用。传入的参数包含即将运行的作业的Resque_Job
实例。
afterFork
在分叉到完成作业的子进程后触发。所做的任何更改将仅存在于作业处理期间。
beforePerform
在运行作业的setUp
和perform
方法之前调用。传入的参数包含即将运行的作业的Resque_Job
实例。
您可以通过抛出Resque_Job_DontPerform
异常来防止作业的执行。抛出的任何其他异常都将被视为在作业中抛出,导致作业失败。
afterPerform
在运行作业的perform
和tearDown
方法之后调用。传入的参数包含刚刚运行的Resque_Job
实例。
抛出的任何异常都将被视为在作业中抛出,导致作业标记为失败。
onFailure
每当作业失败时调用。传入的参数(按此顺序)包括
- Exception - 作业失败时抛出的异常
- Resque_Job - 失败的作业
afterEnqueue
使用Resque::enqueue
方法将作业入队后调用。传入的参数(按此顺序)包括
- Class - 包含计划作业名称的字符串
- Arguments - 传递给作业的参数数组
- Queue - 包含作业添加到的队列名称的字符串
贡献者
- chrisboulton
- thedotedge
- hobodave
- scraton
- KevBurnsJr
- jmathai
- dceballos
- patrickbajao
- andrewjshults
- warezthebeef
- d11wtq
- hlegius
- salimane
- humancopy
- pedroarnal
- chaitanyakuber
- maetl
- Matt Heath
- jjfrey
- scragg0x