idanoo / php-resque
Redis支持的库,用于创建后台任务并在稍后处理。基于Ruby的resque。最初是从chrisboulton/php-resque分叉的。
README
Resque是一个Redis支持的库,用于创建后台任务,将这些任务放入一个或多个队列中,并在稍后处理。
背景
Resque是由GitHub团队开发,用Ruby编写的。您在这里看到的是Resque工作器和入队系统几乎直接移植到PHP。
有关Resque的更多信息,请访问官方GitHub项目:https://github.com/resque/resque
有关更多信息,请参阅GitHub博客上的启动文章:http://github.com/blog/542-introducing-resque
PHP移植不包括查看队列统计数据的自有网络界面,因为数据存储的格式与Resque的Ruby版本完全相同。
PHP移植提供了与Ruby版本几乎相同的功能
- 工作可以分布在多台机器之间
- 支持优先级(队列)
- 对内存泄漏具有弹性(分割)
- 预期失败
它还支持以下附加功能
- 能够跟踪作业的状态
- 如果分割的子进程运行作业时没有退出状态码为0,则将作业标记为失败
- 具有内置对
setUp
和tearDown
方法的支持,分别在作业前后调用
在原始分支(chrisboulton/php-resque)之上,我增加了以下内容
- 自定义日志级别
- PHP7.0+兼容性
要求
- PHP 7.0+
- phpredis
- Redis 2.2+
入门
当作为项目内部Composer包安装时,使用php-resque是最容易的方式。
如果您不熟悉Composer,请参阅https://getcomposer.org.cn/。
-
运行
composer require idanoo/php-resque
。 -
如果尚未添加,请将Composer自动加载添加到项目初始化文件中。(示例)
require 'vendor/autoload.php';
作业
排队作业
作业按以下方式排队
// Required if redis is located elsewhere Resque::setBackend('redis:6379'); $args = ['name' => 'TestName']; Resque::enqueue('default', 'My_Job', $args);
定义作业
每个作业应位于其自己的类中,并包含一个perform
方法。
class My_Job { public function perform() { echo $this->args['name']; // Outputs 'TestName' } }
当作业运行时,类将被实例化,任何参数都将作为数组设置在实例化的对象上,并通过$this->args
访问。
作业抛出的任何异常都将导致作业失败 - 请注意这里,并确保处理不会导致作业失败的异常。
作业还可以有setUp
和tearDown
方法。如果定义了setUp
方法,它将在运行perform
方法之前被调用。如果定义了tearDown
方法,则将在作业完成后被调用。
class My_Job { public function setUp() { // ... Set up environment for this job } public function perform() { // .. Run job } public function tearDown() { // ... Remove environment for this job } }
出队作业
此方法可用于方便地从队列中删除作业。
// Removes job class 'My_Job' of queue 'default' Resque::dequeue('default', ['My_Job']); // Removes job class 'My_Job' with Job ID '087df5819a790ac666c9608e2234b21e' of queue 'default' Resque::dequeue('default', ['My_Job' => '087df5819a790ac666c9608e2234b21e']); // Removes job class 'My_Job' with arguments of queue 'default' Resque::dequeue('default', ['My_Job' => ['foo' => 1, 'bar' => 2]]); // Removes multiple jobs Resque::dequeue('default', ['My_Job', 'My_Job2']);
如果没有提供作业,此方法将出队与提供的队列匹配的所有作业。
// Removes all jobs of queue 'default' Resque::dequeue('default');
跟踪作业状态
php-resque 具有执行队列作业基本状态跟踪的能力。状态信息将允许您检查作业是否在队列中,是否正在运行,是否已完成或已失败。
要跟踪作业状态,请将 true
作为第四个参数传递给 Resque::enqueue
。将返回用于跟踪作业状态的令牌
$token = Resque::enqueue('default', 'My_Job', $args, true); echo $token;
要获取作业状态
$status = new Resque_Job_Status($token); echo $status->get(); // Outputs the status
作业状态在 Resque_Job_Status
类中定义为常量。有效的状态包括
Resque_Job_Status::STATUS_WAITING
- 作业仍在队列中Resque_Job_Status::STATUS_RUNNING
- 作业正在运行Resque_Job_Status::STATUS_FAILED
- 作业已失败Resque_Job_Status::STATUS_COMPLETE
- 作业已完成false
- 获取状态失败 - 令牌有效吗?
作业完成或失败后,状态最多保留 24 小时,然后自动过期。也可以通过调用状态类的 stop()
方法强制状态过期。
工作者
工作者与 Ruby 工作者完全相同。有关工作者的完整文档,请参阅原始文档。
包含一个基本的 "启动并运行" 的 bin/resque
文件,该文件设置运行工作者环境。(vendor/bin/resque
通过 Composer 安装时)
与 Ruby 版本的 resque 相似之处的一个例外是工作者的初始设置。为了在所有环境中工作,而不是像 Ruby 那样只有一个环境,PHP 版本 不 假设您的设置。
要启动工作者,它与 Ruby 版本非常相似
$ QUEUE=file_serve php bin/resque
您负责告诉工作者要包含哪个文件以开始应用程序。您可以通过设置 APP_INCLUDE
环境变量来做到这一点
$ QUEUE=file_serve APP_INCLUDE=../application/init.php php bin/resque
技巧:使用 Composer?您很可能不需要担心 APP_INCLUDE
,因为希望 Composer 也负责自动加载您的应用程序!
开始应用程序还包括通过自动加载器或包含它们来告诉工作者您的作业类。
或者,您始终可以从应用程序中 include('bin/resque')
并完全跳过设置 APP_INCLUDE
。只是确保在这样做之前设置了各种环境变量(setenv
)。
日志记录
端口支持用于将日志记录到 STDOUT 的相同环境变量。设置 LOGLEVEL
将根据级别打印不同的日志。以下列出了有效的 loglevels 以及示例。默认 LOGLEVEL
是 WARNING
。
[DEBUG/INFO/NOTICE/WARNING/ERROR/CRITICAL/ALERT/EMERGENCY]
$ LOGLEVEL=DEBUG QUEUE=file_serve bin/resque
优先级和队列列表
同样,优先级和队列列表功能与 Ruby 工作者完全相同。多个队列应以逗号分隔,并且它们提供的顺序是它们检查的顺序。
按照原始示例
$ QUEUE=file_serve,warm_cache bin/resque
在检查 warm_cache
队列之前,将始终在每次迭代之前检查 file_serve
队列是否有新作业。
运行所有队列
所有队列以相同的方式支持并按字母顺序处理
$ QUEUE='*' bin/resque
运行多个工作者
可以通过提供 COUNT
环境变量同时启动多个工作者
$ COUNT=5 bin/resque
然而,请注意,每个工作者都是自己的分叉,原始进程将在生成 COUNT
分叉后立即关闭。如果您需要使用像 monit
这样的外部应用程序跟踪工作者,您需要解决这个问题。
自定义前缀
当您有多个应用程序使用相同的 Redis 数据库时,最好使用自定义前缀来分隔 Resque 数据
$ PREFIX=my-app-name bin/resque
分叉
类似于 Ruby 版本,支持的平台将在获取作业后立即进行分叉。分叉的子进程将在作业完成后退出。
与php-resque相比,区别在于如果子进程没有正常退出(PHP错误等),php-resque会自动失败作业。
信号
在支持的平台上的信号工作方式与Resque的Ruby版本完全相同
QUIT
- 等待作业完成处理后再退出TERM
/INT
- 立即终止作业然后退出USR1
- 立即终止作业但不退出USR2
- 暂停工作进程,不会处理新作业CONT
- 继续工作进程。
进程标题/状态
Resque的Ruby版本有一个巧妙的功能,即工作进程的进程标题会更新以指示工作进程正在做什么,任何被分叉的子进程也会设置它们的进程标题,包含正在运行的作业。这有助于识别服务器上正在运行的过程及其resque状态。
PHP默认情况下没有这个功能,直到5.5版本。
存在一个PECL模块(http://pecl.php.net/package/proctitle),在5.5之前向PHP添加了此功能,因此如果您想更新进程标题,请安装此PECL模块。php-resque会自动检测并使用它。
事件/钩子系统
php-resque有一个基本的事件系统,您的应用程序可以使用它来自定义某些php-resque内部行为。
您可以通过使用Resque_Event
注册并提供一个当事件触发时要触发的回调函数来监听事件(如下列所示)
Resque_Event::listen('eventName', [callback]);
[callback]
可以是PHP中任何可以通过call_user_func_array
调用的内容
- 一个包含函数名的字符串
- 包含要调用对象的成员方法的数组
- 包含要调用静态成员方法的对象的数组
- 闭包
事件可能会传递参数(如下文所述),因此您的回调函数应接受这些参数。
您可以通过使用与Resque_Event::listen
相同的参数调用Resque_Event::stopListening
来停止监听事件。
由您的应用程序负责注册事件监听器。在您的应用程序中入队事件时,只需确保已加载php-resque并调用Resque_Event::listen
即可。
在运行工作进程时,如果您通过默认的bin/resque
脚本运行工作进程,则您的APP_INCLUDE
脚本应初始化并注册任何所需的监听器。如果您已经创建了自定义的工作进程管理器,则注册监听器的责任再次由您承担。
事件
beforeFirstFork
在工作进程初始化时调用一次。传递的参数是刚刚初始化的Resque_Worker
实例。
beforeFork
在php-resque分叉以运行作业之前调用。传递的参数包含即将运行的作业的Resque_Job
实例。
beforeFork
在父进程
中触发。所做的任何更改将永久适用于整个工作进程
的生命周期。
afterFork
在php-resque分叉以运行作业之后(但在作业运行之前)调用。传递的参数包含即将运行的作业的Resque_Job
实例。
afterFork
在分叉到完成作业的子进程
后触发。所做的任何更改将仅在作业处理期间保持有效。
beforePerform
在作业的setUp
和perform
方法运行之前调用。传递的参数包含即将运行的作业的Resque_Job
实例。
您可以通过抛出Resque_Job_DontPerform
异常来防止作业执行。抛出的任何其他异常都将被视为在作业中抛出,导致作业失败。
afterPerform
在作业的perform
和tearDown
方法运行之后调用。传递的参数包含刚刚运行的Resque_Job
实例。
抛出的任何异常都将被视为在作业中抛出,导致作业被标记为失败。
onFailure
当作业失败时调用。传递的参数(按此顺序)包括:
- 异常 - 作业失败时抛出的异常
- Resque_Job - 失败的作业
beforeEnqueue
在调用 Resque::enqueue
方法将作业入队之前立即调用。传递的参数(按此顺序)包括:
- 类 - 包含要入队作业名称的字符串
- 参数 - 作业参数数组
- 队列 - 包含作业要入队的队列名称的字符串
- ID - 包含要入队作业令牌的字符串
您可以通过抛出 Resque_Job_DontCreate
的异常来阻止作业入队。
afterEnqueue
在调用 Resque::enqueue
方法将作业入队之后调用。传递的参数(按此顺序)包括:
- 类 - 包含预定作业名称的字符串
- 参数 - 传递给作业的参数数组
- 队列 - 包含作业被添加到的队列名称的字符串
- ID - 包含入队作业的新令牌的字符串
监控器配置
您可能希望在监控器任务上运行 php-resque 以管理进程。以下是一个默认配置,可以进行修改以适应需要。
[program:resque-dev] directory=/var/www # Project root command=php vendor/bin/resque numprocs=2 # Change this value for more threads environment=LOGLEVEL=NOTICE,QUEUE='*',BLOCKING=1,COUNT=1,APP_INCLUDE='includes/autoload.php',REDIS_BACKEND=127.0.0.1,REDIS_BACKEND_DB=0 redirect_stderr=true # Output stderr to logfile stdout_logfile=/var/log/resque.log autostart=true autorestart=true stopsignal=QUIT process_name = %(program_name)s_%(process_num)02d
问题
- 重启工作进程不一定总是使其使用更新后的代码,我发现在一个开发环境中,执行以下命令可以很好地重启所有内容:
sudo /etc/init.d/supervisor force-stop && sleep 1 && sudo /etc/init.d/supervisor restart
逐步操作
要更深入地了解 php-resque 在底层做了什么(而无需直接检查代码),请查看 HOWITWORKS.md
。
贡献者
当前维护者
- @idanoo
前任维护者 / 分支自
- @chrisboulton
其他人
- @acinader
- @ajbonner
- @andrewjshults
- @atorres757
- @benjisg
- @cballou
- @chaitanyakuber
- @charly22
- @CyrilMazur
- @d11wtq
- @danhunsaker
- @dceballos
- @ebernhardson
- @hlegius
- @hobodave
- @humancopy
- @iskandar
- @JesseObrien
- @jjfrey
- @jmathai
- @joshhawthorne
- @KevBurnsJr
- @lboynton
- @maetl
- @matteosister
- @MattHeath
- @mickhrmweb
- @Olden
- @patrickbajao
- @pedroarnal
- @ptrofimov
- @rajibahmed
- @richardkmiller
- @Rockstar04
- @ruudk
- @salimane
- @scragg0x
- @scraton
- @thedotedge
- @tonypiper
- @trimbletodd
- @warezthebeef