jasverix / php-resque
Redis支持的库,用于创建后台任务并在稍后处理它们。基于Ruby的resque。
Requires
- php: >=5.6.0
- colinmollenhour/credis: ~1.7
- psr/log: ~1.0
Requires (Dev)
- phpunit/phpunit: ^5.7
Suggests
- ext-pcntl: REQUIRED for forking processes on platforms that support it (so anything but Windows).
- ext-proctitle: Allows php-resque to rename the title of UNIX processes to show the status of a worker.
- ext-redis: Native PHP extension for Redis connectivity. Credis will automatically utilize when available.
This package is auto-updated.
Last update: 2024-09-08 14:04:29 UTC
README
PHP Resque 是一个 Redis支持的库,用于创建后台任务,将这些任务放入一个或多个队列,并在稍后处理它们。
背景
Resque 由GitHub开创,并使用Ruby编写。您在这里看到的内容最初是Resque工作员和入队系统的直接移植到PHP。
有关Resque的更多信息,请访问官方GitHub项目:https://github.com/resque/resque
有关更多信息,请参阅GitHub博客上的推出文章:http://github.com/blog/542-introducing-resque
PHP移植版不包括查看队列状态的自有Web界面,因为数据以与Resque的Ruby版本完全相同的预期格式存储。
PHP移植版提供了与Ruby版本几乎相同的特性
- 工作员可以在多台机器之间分配
- 支持优先级(队列)
- 具有内存泄露(分叉)的弹性
- 预期失败
它还支持以下附加功能
- 能够跟踪作业的状态
- 如果一个分叉的子进程运行作业没有以状态码
0退出,则将作业标记为失败 - 具有内置的
setUp和tearDown方法的支持,分别称为作业的前和后方法
此外,它还包括php-resque-scheduler,这是resque-scheduler的PHP移植版,它为Resque添加了对未来安排项的支持。它已被设计成Ruby插件的几乎直接复制
目前,php-resque-scheduler仅支持延迟作业,这是将作业推送到队列并在特定时间戳或秒数后运行的能力。计划在未来版本中支持重复作业(类似于CRON)。
此移植最初由Chris Boulton制作,并由社区维护。有关更多历史信息,请参阅https://github.com/chrisboulton/php-resque。
要求
- PHP 5.3+
- Redis 2.2+
- 可选但推荐:Composer
入门指南
在项目内部将php-resque作为Composer包安装是最简单的工作方式。Composer不是必需的,但它可以使生活变得更加容易。
如果您不熟悉Composer,请参阅https://composer.php.ac.cn/。
-
运行
composer require resque/php-resque。 -
如果您还没有,请将Composer自动加载添加到项目初始化文件中。(示例)
require 'vendor/autoload.php';
作业
排队作业
作业按以下方式排队
// Required if redis is located elsewhere Resque\Resque::setBackend('localhost:6379'); $args = array( 'name' => 'Chris' ); Resque\Resque::enqueue('default', 'My_Job', $args);
定义作业
每个作业应在其自己的类中,并包含一个perform方法。
class My_Job { public function perform() { // Work work work echo $this->args['name']; } }
当作业运行时,该类将被实例化,并将任何参数作为数组设置在实例化的对象上,并通过$this->args访问。
作业抛出的任何异常都会导致作业失败 - 请在这里小心,并确保您处理了不应该导致作业失败的异常。
作业还可以有setUp和tearDown方法。如果定义了setUp方法,则它将在运行perform方法之前被调用。如果定义了tearDown方法,则它将在作业完成后被调用。
class My_Job { public function setUp() { // ... Set up environment for this job } public function perform() { // .. Run job } public function tearDown() { // ... Remove environment for this job } }
出队作业
此方法可以方便地从队列中删除一个作业。
// Removes job class 'My_Job' of queue 'default' Resque\Resque::dequeue('default', ['My_Job']); // Removes job class 'My_Job' with Job ID '087df5819a790ac666c9608e2234b21e' of queue 'default' Resque\Resque::dequeue('default', ['My_Job' => '087df5819a790ac666c9608e2234b21e']); // Removes job class 'My_Job' with arguments of queue 'default' Resque\Resque::dequeue('default', ['My_Job' => array('foo' => 1, 'bar' => 2)]); // Removes multiple jobs Resque\Resque::dequeue('default', ['My_Job', 'My_Job2']);
如果没有提供作业,此方法将移除所有匹配提供的队列的作业。
// Removes all jobs of queue 'default' Resque\Resque::dequeue('default');
跟踪作业状态
php-resque 能够执行已排队作业的基本状态跟踪。状态信息将允许您检查作业是否在队列中、正在运行、已完成或已失败。
要跟踪作业状态,请将 true 作为 Resque\Resque::enqueue 的第四个参数传递。将返回用于跟踪作业状态的令牌
$token = Resque\Resque::enqueue('default', 'My_Job', $args, true); echo $token;
要获取作业的状态
$status = new Resque\Job\Status($token); echo $status->get(); // Outputs the status
作业状态在 Resque\Job\Status 类中定义为常量。有效的状态包括
Resque\Job\Status::STATUS_WAITING- 作业仍在队列中Resque\Job\Status::STATUS_RUNNING- 作业正在运行Resque\Job\Status::STATUS_FAILED- 作业已失败Resque\Job\Status::STATUS_COMPLETE- 作业已完成false- 获取状态失败;令牌有效吗?
作业完成或失败后的状态最多可用 24 小时,然后自动过期。也可以通过在状态类上调用 stop() 方法强制过期状态。
获取作业 PID
您可以通过 Resque\Job\PID 获取执行工作的实际进程的 PID。在分叉操作系统中,这将是分叉进程的 PID。
注意:在非分叉操作系统中,返回的 PID 将是工作进程自身的 PID。
echo Resque\Job\PID::get($token);
如果 perform 尚未开始,或已经结束,则函数返回 0。
延迟作业
以下引用 Ruby resque-scheduler 的文档
延迟作业是您希望在未来某个时间点将其放入队列的一次性作业。经典的例子是发送电子邮件
require 'Resque.php';
require 'Scheduler.php';
$in = 3600;
$args = array('id' => $user->id);
Resque\Scheduler::enqueueIn($in, 'email', 'SendFollowUpEmail', $args);
以上操作将作业存储在延迟队列中 1 小时,然后提取作业并将其提交到 Resque 的 email 队列进行处理,以便一旦有可用的工作进程即可进行处理。
除了以秒为单位传递相对时间外,您还可以将时间戳作为 DateTime 对象或包含 UNIX 时间戳的整数传递给 enqueueAt 方法
require 'Resque.php';
require 'Scheduler.php';
$time = 1332067214;
Resque\Scheduler::enqueueAt($time, 'email', 'SendFollowUpEmail', $args);
$datetime = new DateTime('2012-03-18 13:21:49');
Resque\Scheduler::enqueueAt($datetime, 'email', 'SendFollowUpEmail', $args);
注意:resque-scheduler 不保证作业会在指定的时间触发。在指定的时间,resque-scheduler 将作业从延迟队列中取出,并将其推送到 Resque 中适当的队列。下一个可用的 Resque 工作进程将选择作业。为了尽可能快地处理,请尽可能保持队列为空。
工作进程
工作进程的工作方式与 Ruby 工作进程完全相同。有关工作进程的完整文档,请参阅原始文档。
包含了一个基本的 "启动运行" bin/resque 文件,该文件设置了一个运行工作进程的环境。(通过 Composer 安装时为 vendor/bin/resque)
与 Ruby 版本的 resque 相似性的例外是工作进程的初始设置。为了在所有环境中工作,而不是像 Ruby 那样只有一个环境,PHP 端口 没有 对您的设置做出假设。
要启动工作进程,与 Ruby 版本非常相似
$ QUEUE=file_serve php bin/resque
告诉工作进程要包含哪个文件以开始应用程序是您的责任。您通过设置 APP_INCLUDE 环境变量来完成此操作
$ QUEUE=file_serve APP_INCLUDE=../application/init.php php bin/resque
提示:使用 Composer?很可能会发现您不需要担心 APP_INCLUDE,因为希望 Composer 也负责自动加载您的应用程序!
开始应用程序还包括告诉工作进程您的作业类,通过自动加载器或包含它们的方式
或者,您始终可以从应用程序中 include('bin/resque'),而无需设置 APP_INCLUDE。只需确保在执行之前设置了各种环境变量即可。
日志记录
端口支持用于将日志记录到标准输出的相同环境变量。设置VERBOSE将打印基本调试信息,而VVERBOSE将打印详细信息。
$ VERBOSE=1 QUEUE=file_serve bin/resque $ VVERBOSE=1 QUEUE=file_serve bin/resque
优先级和队列列表
同样,优先级和队列列表功能与Ruby工作进程完全相同。多个队列应以逗号分隔,并且它们被提供的顺序是它们被检查的顺序。
根据原始示例
$ QUEUE=file_serve,warm_cache bin/resque
file_serve队列将在检查warm_cache队列之前在每个迭代中始终检查新任务。
运行所有队列
所有队列都按相同的方式支持并以字母顺序处理
$ QUEUE='*' bin/resque
运行多个工作进程
可以通过提供COUNT环境变量同时启动多个工作进程
$ COUNT=5 bin/resque
然而,请注意,每个工作进程都是一个单独的分支,并且原始进程将在产生COUNT个分支后立即关闭。如果您需要使用外部应用程序(如monit)跟踪工作进程,则需要解决这个限制。
自定义前缀
当您有多个应用程序使用相同的Redis数据库时,最好使用自定义前缀来区分Resque数据
$ PREFIX=my-app-name bin/resque
设置Redis后端
当Redis数据库与运行工作进程的主机不同时,您必须设置REDIS_BACKEND环境变量
$ REDIS_BACKEND=my-redis-ip:my-redis-port bin/resque
分支
类似于Ruby版本,支持的平台将在获取任务后立即分支。分支的子进程将在任务完成后退出。
与php-resque的不同之处在于,如果分支的子进程没有优雅地退出(PHP错误等),php-resque将自动失败任务。
信号
信号在支持的平台上工作,与Resque的Ruby版本完全相同
QUIT- 等待任务完成处理然后退出TERM/INT- 立即终止任务然后退出USR1- 立即终止任务但不退出USR2- 暂停工作进程,不会处理新任务CONT- 继续工作进程。
进程标题/状态
Resque的Ruby版本有一个很酷的功能,即更新工作进程的进程标题以指示工作进程正在做什么,并且任何分支的子进程也将设置其进程标题,以运行正在运行的任务。这有助于识别服务器上正在运行的过程及其resque状态。
PHP默认情况下不具有此功能,直到5.5。
存在一个PECL模块(http://pecl.php.net/package/proctitle),它将此功能添加到5.5之前的PHP中,因此如果您想更新进程标题,请安装此PECL模块。php-resque将自动检测并使用它。
Resque调度器
resque-scheduler需要一个特殊的在后台运行的工作进程。该工作进程负责从调度/延迟队列中提取项目并将其添加到resque的队列中。这意味着要执行延迟或计划的任务,该工作进程需要运行。
包含设置运行工作进程环境的“启动和运行”基本bin/resque-scheduler文件(通过composer安装时为vendor/bin/resque-scheduler)。它接受与php-resque的主要工作进程相同的许多环境变量
REDIS_BACKEND- 要连接的Redis服务器LOGGING- 启用将日志记录到标准输出VERBOSE- 启用详细日志记录VVERBOSE- 启用非常详细日志记录INTERVAL- 在检查调度/延迟队列之前睡眠此长时间APP_INCLUDE- 启动时包含此文件(以启动您的应用程序)PIDFILE- 将工作进程的PID写入此文件
启动resque-scheduler工作进程很容易使用bin/resque-scheduler:$ php bin/resque-scheduler
事件/钩子系统
php-resque 拥有一个基本的事件系统,您的应用程序可以使用该系统来自定义一些 php-resque 内部行为。
您可以通过注册 Resque\Event 并提供在事件被触发时希望执行的回调函数来监听事件(如下所示)。
Resque\Event::listen('eventName', [callback]);
[回调函数] 可以是 PHP 中任何可由 call_user_func_array 调用的内容。
- 一个包含函数名的字符串。
- 一个包含要调用对象和方法的数组。
- 一个包含要调用对象和静态方法的数组。
- 闭包(PHP 5.3+)。
事件可以传递参数(如下文所述),因此您的回调函数应接受这些参数。
您可以通过调用 Resque\Event::stopListening 并提供与 Resque\Event::listen 相同的参数来停止监听事件。
注册事件监听器是您应用程序的责任。当在应用程序中入队事件时,只需确保已加载 php-resque 并调用 Resque\Event::listen 即可。
当运行工作进程时,如果您通过默认的 bin/resque 脚本运行工作进程,则您的 APP_INCLUDE 脚本应初始化并注册任何必需的监听器。如果您有自己的工作进程管理器,那么注册监听器的责任又回到了您身上。
在 extras 目录中包含了一个示例插件。
事件
beforeFirstFork
在工作进程初始化时调用一次。传递的参数是刚刚初始化的 Resque\Worker\ResqueWorker 实例。
beforeFork
在 php-resque 分叉以运行作业之前调用。传递的参数包含即将运行的作业的 Resque\JobHandler 实例。
beforeFork 在 父进程 中触发。所做的任何更改都将持续到 工作进程 生命周期结束。
afterFork
在 php-resque 分叉以运行作业之后(但在作业运行之前)调用。传递的参数包含即将运行的作业的 Resque\JobHandler 实例。
afterFork 在分叉出子进程以完成作业后触发。所做的任何更改将仅在 作业 处理期间存在。
beforePerform
在运行作业的 setUp 和 perform 方法之前调用。传递的参数包含即将运行的作业的 Resque\JobHandler 实例。
您可以通过抛出 Resque\Exceptions\DoNotPerformException 异常来阻止作业的执行。抛出的任何其他异常都将被视为在作业中抛出,导致作业失败。
afterPerform
在运行作业的 perform 和 tearDown 方法之后调用。传递的参数包含刚刚运行的 Resque\JobHandler 实例。
抛出的任何异常都将被视为在作业中抛出,导致作业被标记为失败。
onFailure
每当作业失败时调用。传递的参数(按顺序)包括
- 异常 - 作业失败时抛出的异常
- Resque\JobHandler - 失败的作业
beforeEnqueue
在通过 Resque\Resque::enqueue 方法将作业入队之前立即调用。传递的参数(按顺序)包括
- 类 - 包含要入队作业名称的字符串
- 参数 - 作业参数数组
- 队列 - 包含作业要入队队列名称的字符串
- ID - 包含要入队作业标记的字符串
您可以通过抛出 Resque\Exceptions\DoNotCreateException 异常来阻止作业的入队。
afterEnqueue
在通过 Resque\Resque::enqueue 方法将作业入队之后调用。传递的参数(按顺序)包括
- 类 - 包含预定作业名称的字符串
- 参数 - 传递给作业的参数数组
- 队列 - 包含作业被添加到的队列名称的字符串
- 标识符 - 包含新令牌的字符串,表示已入列的任务
afterSchedule
在任务被添加到调度后调用。传递的参数包括时间戳、任务队列、任务类名和任务的参数。
beforeDelayedEnqueue
在任务从延迟队列中取出后立即调用,并在任务被添加到resque队列之前。传递的参数包括任务队列、任务类名和任务的参数。
步骤-by-步骤
要深入了解php-resque底层的工作原理(无需直接检查代码),请查看HOWITWORKS.md。
贡献者
项目创建者
- @chrisboulton
项目维护者
- @danhunsaker
- @rajibahmed
- @steveklabnik
其他人
- @acinader
- @ajbonner
- @andrewjshults
- @atorres757
- @benjisg
- @biinari
- @cballou
- @chaitanyakuber
- @charly22
- @CyrilMazur
- @d11wtq
- @dceballos
- @ebernhardson
- @hlegius
- @hobodave
- @humancopy
- @iskandar
- @JesseObrien
- @jjfrey
- @jmathai
- @joshhawthorne
- @KevBurnsJr
- @lboynton
- @maetl
- @matteosister
- @MattHeath
- @mickhrmweb
- @Olden
- @patrickbajao
- @pedroarnal
- @ptrofimov
- @rayward
- @richardkmiller
- @Rockstar04
- @ruudk
- @salimane
- @scragg0x
- @scraton
- @thedotedge
- @tonypiper
- @trimbletodd
- @warezthebeef
