evenzhou / php-resque
Redis支持的库,用于创建后台作业并在稍后处理它们。基于Ruby的resque。
Requires
- php: >=5.3.0
- ext-pcntl: *
- colinmollenhour/credis: 1.8.1
- psr/log: ~1.0
Requires (Dev)
- phpunit/phpunit: 3.7.*
Suggests
- ext-proctitle: Allows php-resque to rename the title of UNIX processes to show the status of a worker.
- ext-redis: Native PHP extension for Redis connectivity. Credis will automatically utilize when available.
This package is not auto-updated.
Last update: 2024-09-20 23:03:37 UTC
README
Resque是一个Redis支持的库,用于创建后台作业,将这些作业放置在一个或多个队列中,并在稍后处理。
背景
Resque由GitHub的优秀团队(是的,我是马屁精)开创并开发,用Ruby编写。你在这里看到的是Resque工作器和入队系统到PHP的直接移植。
有关Resque的更多信息,请访问官方GitHub项目:https://github.com/resque/resque
有关更多信息,请参阅GitHub博客上的启动帖子:http://github.com/blog/542-introducing-resque
PHP端口不包括自己的网页界面来查看队列统计信息,因为数据存储的格式与Resque的Ruby版本完全相同。
PHP端口提供了与Ruby版本非常相似的功能
- 工作器可以在多台机器之间分布
- 包括对优先级(队列)的支持
- 对内存泄漏具有弹性(分叉)
- 期望失败
它还支持以下附加功能
- 具有跟踪作业状态的能力
- 如果分叉的子进程运行作业没有以状态码0退出,则将作业标记为失败
- 内置对
setUp
和tearDown
方法的支持,分别在作业之前和之后调用
要求
- PHP 5.3+
- Redis 2.2+
- 可选但推荐:Composer
入门
当作为项目中的Composer包安装php-resque时,与php-resque一起工作最容易。Composer不是强制性的,但它使生活变得更加容易。
如果您不熟悉Composer,请参阅http://getcomposer.org/。
- 将php-resque添加到您的应用的composer.json文件中。
{
"require": {
"evenzhou/php-resque": "1.2.x"
}
}
-
运行
composer install
。 -
如果您尚未添加,请将Composer自动加载添加到项目的初始化文件中。(示例)
require 'vendor/autoload.php';
作业
队列作业
作业如下队列
// Required if redis is located elsewhere
Resque::setBackend('localhost:6379');
$args = array(
'name' => 'Chris'
);
Resque::enqueue('default', 'My_Job', $args);
定义作业
每个作业应在其自己的类中,并包含一个perform
方法。
class My_Job
{
public function perform()
{
// Work work work
echo $this->args['name'];
}
}
当作业运行时,将实例化类,并将任何参数设置为实例对象的数组,并通过$this->args
访问。
作业抛出的任何异常都会导致作业失败 - 在这里要小心,并确保您处理了不应导致作业失败的异常。
作业还可以有setUp
和tearDown
方法。如果定义了setUp
方法,则在运行perform
方法之前将其调用。如果定义了tearDown
方法,则作业完成后将其调用。
class My_Job
{
public function setUp()
{
// ... Set up environment for this job
}
public function perform()
{
// .. Run job
}
public function tearDown()
{
// ... Remove environment for this job
}
}
出队作业
此方法可用于方便地从队列中删除作业。
// Removes job class 'My_Job' of queue 'default'
Resque::dequeue('default', ['My_Job']);
// Removes job class 'My_Job' with Job ID '087df5819a790ac666c9608e2234b21e' of queue 'default'
Resque::dequeue('default', ['My_Job' => '087df5819a790ac666c9608e2234b21e']);
// Removes job class 'My_Job' with arguments of queue 'default'
Resque::dequeue('default', ['My_Job' => array('foo' => 1, 'bar' => 2)]);
// Removes multiple jobs
Resque::dequeue('default', ['My_Job', 'My_Job2']);
如果没有提供作业,则此方法将出队所有与提供的队列匹配的作业。
// Removes all jobs of queue 'default'
Resque::dequeue('default');
跟踪作业状态
php-resque具有执行队列作业基本状态跟踪的能力。状态信息将允许您检查作业是否在队列中,是否正在运行,是否已完成或已失败。
要跟踪作业状态,请将 true
作为 Resque::enqueue
的第四个参数传递。将返回用于跟踪作业状态的令牌。
$token = Resque::enqueue('default', 'My_Job', $args, true);
echo $token;
获取作业状态
$status = new Resque_Job_Status($token);
echo $status->get(); // Outputs the status
作业状态在 Resque_Job_Status
类中定义为常量。有效状态包括
Resque_Job_Status::STATUS_WAITING
- 作业仍在队列中Resque_Job_Status::STATUS_RUNNING
- 作业正在运行Resque_Job_Status::STATUS_FAILED
- 作业已失败Resque_Job_Status::STATUS_COMPLETE
- 作业已完成false
- 获取状态失败 - 令牌有效吗?
作业完成或失败后,状态最多可保留24小时,之后将自动过期。也可以通过在状态类上调用 stop()
方法强制状态过期。
工作进程
工作进程与Ruby工作进程完全相同。有关工作进程的完整文档,请参阅原始文档。
包括了一个基本的“启动并运行”的 bin/resque
文件,该文件设置了一个运行的工作进程环境。(通过Composer安装时为 vendor/bin/resque
)
与Ruby版本的Resque相似之处,唯一的例外是如何初始化工作进程。为了在所有环境中工作,而不是像Ruby那样有一个单一的环境,PHP端口对您的设置 不做任何假设。
要启动工作进程,它与Ruby版本非常相似
$ QUEUE=file_serve php bin/resque
您负责告诉工作进程要包含哪个文件以启动应用程序。您通过设置 APP_INCLUDE
环境变量来完成此操作
$ QUEUE=file_serve APP_INCLUDE=../application/init.php php bin/resque
提示:使用Composer?很可能,您不需要担心 APP_INCLUDE
,因为希望Composer也负责自动加载您的应用程序!
启动应用程序还包括通过自动加载器或包含它们的方式告诉工作进程您的作业类。
或者,您始终可以从应用程序中 include('bin/resque')
并完全跳过设置 APP_INCLUDE
。但请确保在这样做之前设置好各种环境变量(setenv
)。
日志记录
端口支持用于将日志记录到STDOUT的相同环境变量。设置 VERBOSE
将打印基本调试信息,而 VVERBOSE
将打印详细信息。
$ VERBOSE=1 QUEUE=file_serve bin/resque
$ VVERBOSE=1 QUEUE=file_serve bin/resque
优先级和队列列表
类似地,优先级和队列列表功能与Ruby工作进程完全相同。多个队列应以逗号分隔,并且它们提供的顺序是它们被检查的顺序。
按照原始示例
$ QUEUE=file_serve,warm_cache bin/resque
file_serve
队列将在检查 warm_cache
队列之前在每个迭代中始终检查新作业。
运行所有队列
所有队列均以相同的方式支持并按字母顺序处理
$ QUEUE='*' bin/resque
运行多个工作进程
可以通过提供 COUNT
环境变量同时启动多个工作进程
$ COUNT=5 bin/resque
但是,请注意,每个工作进程都是其自己的子进程,并且原始进程将在孵化 COUNT
子进程后立即关闭。如果您需要使用如 monit
的外部应用程序跟踪您的作业,您需要解决这个问题。
自定义前缀
当您有多个应用程序使用相同的Redis数据库时,最好使用自定义前缀来区分Resque数据
$ PREFIX=my-app-name bin/resque
分叉
与Ruby版本类似,支持的平台将在取走作业后立即进行分叉。分叉的子进程将在作业完成时退出。
与php-resque的不同之处在于,如果分叉的子进程没有优雅地退出(PHP错误或其他),php-resque将自动失败该作业。
信号
信号在支持的平台上也与Ruby版本的Resque完全一样工作
QUIT
- 等待作业处理完毕后退出TERM
/INT
- 立即终止作业后退出USR1
- 立即终止作业但不退出USR2
- 暂停工作进程,不再处理新作业CONT
- 恢复工作进程。
处理标题/状态
Resque的Ruby版本有一个很酷的功能,即更新工作进程的进程标题,以显示工作进程正在做什么,并且任何分叉的子进程也会设置它们的进程标题,以显示正在运行的作业。这有助于识别服务器上正在运行的过程及其Resque状态。
PHP默认情况下直到5.5版本都没有这个功能。
存在一个PECL模块(http://pecl.php.net/package/proctitle),它可以将此功能添加到5.5之前的PHP中,因此如果您想更新进程标题,请安装该PECL模块。php-resque将自动检测并使用它。
事件/钩子系统
php-resque有一个基本的事件系统,可以由您的应用程序使用来自定义一些php-resque内部行为的操作。
您可以通过向Resque_Event
注册并提供一个回调来监听事件(如下所示),当事件被触发时,将调用该回调
Resque_Event::listen('eventName', [callback]);
[回调]
可以是PHP中可以通过call_user_func_array
调用的任何内容
- 一个包含函数名称的字符串
- 包含要调用的对象和方法的数组
- 包含要调用的对象和静态方法的数组
- 闭包(PHP 5.3+)
事件可以传递参数(如下文所述),因此您的回调应接受这些参数。
您可以通过调用Resque_Event::stopListening
并使用与Resque_Event::listen
相同的参数来停止监听事件。
注册事件监听器是您的应用程序的责任。当在应用程序中入队事件时,应确保已加载php-resque并调用Resque_Event::listen
。
当运行工作进程时,如果您通过默认的bin/resque
脚本运行工作进程,则您的APP_INCLUDE
脚本应初始化并注册任何必要的监听器。如果您有自己的工作进程管理器,那么注册监听器也是您的责任。
在extras
目录中包含了一个示例插件。
事件
beforeFirstFork
在工作进程初始化时调用一次。传入的参数是刚刚初始化的Resque_Worker
实例。
beforeFork
在php-resque分叉以运行作业之前调用。传入的参数包含即将运行的作业的Resque_Job
实例。
beforeFork
在父进程
中触发。所做的任何更改都将对工作进程
持续有效。
afterFork
在php-resque分叉以运行作业(但在作业运行之前)后调用。传入的参数包含即将运行的作业的Resque_Job
实例。
afterFork
在分叉出以完成作业的子进程
之后触发。所做的任何更改将只在作业
处理期间有效。
beforePerform
在运行作业的setUp
和perform
方法之前调用。传入的参数包含即将运行的作业的Resque_Job
实例。
您可以通过抛出Resque_Job_DontPerform
异常来防止执行作业。抛出的任何其他异常都将被视为在作业中抛出,导致作业失败。
afterPerform
在运行作业的perform
和tearDown
方法之后调用。传入的参数包含刚刚运行的Resque_Job
实例。
抛出的任何异常都将被视为在作业中抛出,导致作业被标记为失败。
onFailure
每当作业失败时调用。传入的参数(按此顺序)包括
- 异常 - 作业失败时抛出的异常
- Resque_Job - 失败的任务
beforeEnqueue
在调用 Resque::enqueue
方法将任务入队之前立即调用。传递的参数(按此顺序)包括:
- 类 - 包含要入队任务名称的字符串
- 参数 - 任务的参数数组
- 队列 - 包含任务要入队队列名称的字符串
- ID - 包含要入队任务令牌的字符串
您可以通过抛出 Resque_Job_DontCreate
异常来阻止任务入队。
afterEnqueue
在调用 Resque::enqueue
方法将任务入队之后调用。传递的参数(按此顺序)包括:
- 类 - 包含计划任务名称的字符串
- 参数 - 传递给任务的参数数组
- 队列 - 包含添加到任务队列名称的字符串
- ID - 包含入队任务的新令牌的字符串
步骤详解
要更深入地了解php-resque在底层做了什么(无需直接查看代码),请查看 HOWITWORKS.md
文件。
贡献者
项目负责人
- @chrisboulton
其他人
- @acinader
- @ajbonner
- @andrewjshults
- @atorres757
- @benjisg
- @cballou
- @chaitanyakuber
- @charly22
- @CyrilMazur
- @d11wtq
- @danhunsaker
- @dceballos
- @ebernhardson
- @hlegius
- @hobodave
- @humancopy
- @iskandar
- @JesseObrien
- @jjfrey
- @jmathai
- @joshhawthorne
- @KevBurnsJr
- @lboynton
- @maetl
- @matteosister
- @MattHeath
- @mickhrmweb
- @Olden
- @patrickbajao
- @pedroarnal
- @ptrofimov
- @rajibahmed
- @richardkmiller
- @Rockstar04
- @ruudk
- @salimane
- @scragg0x
- @scraton
- @thedotedge
- @tonypiper
- @trimbletodd
- @warezthebeef