jasverix/php-resque

Redis支持的库,用于创建后台任务并在稍后处理它们。基于Ruby的resque。

v1.3.6 2020-04-16 16:39 UTC

This package is auto-updated.

Last update: 2024-09-08 14:04:29 UTC


README

PHP Resque 是一个 Redis支持的库,用于创建后台任务,将这些任务放入一个或多个队列,并在稍后处理它们。

PHP-Resque Logo

License (MIT) PHP Version Latest Version Latest Unstable Version Downloads

Build Status Dependency Status

Latest Release Latest Release Date Commits Since Latest Release Maintenance Status

Contributors Chat on Slack

背景

Resque 由GitHub开创,并使用Ruby编写。您在这里看到的内容最初是Resque工作员和入队系统的直接移植到PHP。

有关Resque的更多信息,请访问官方GitHub项目:https://github.com/resque/resque

有关更多信息,请参阅GitHub博客上的推出文章:http://github.com/blog/542-introducing-resque

PHP移植版不包括查看队列状态的自有Web界面,因为数据以与Resque的Ruby版本完全相同的预期格式存储。

PHP移植版提供了与Ruby版本几乎相同的特性

  • 工作员可以在多台机器之间分配
  • 支持优先级(队列)
  • 具有内存泄露(分叉)的弹性
  • 预期失败

它还支持以下附加功能

  • 能够跟踪作业的状态
  • 如果一个分叉的子进程运行作业没有以状态码0退出,则将作业标记为失败
  • 具有内置的setUptearDown方法的支持,分别称为作业的前和后方法

此外,它还包括php-resque-scheduler,这是resque-scheduler的PHP移植版,它为Resque添加了对未来安排项的支持。它已被设计成Ruby插件的几乎直接复制

目前,php-resque-scheduler仅支持延迟作业,这是将作业推送到队列并在特定时间戳或秒数后运行的能力。计划在未来版本中支持重复作业(类似于CRON)。

此移植最初由Chris Boulton制作,并由社区维护。有关更多历史信息,请参阅https://github.com/chrisboulton/php-resque

要求

  • PHP 5.3+
  • Redis 2.2+
  • 可选但推荐:Composer

入门指南

在项目内部将php-resque作为Composer包安装是最简单的工作方式。Composer不是必需的,但它可以使生活变得更加容易。

如果您不熟悉Composer,请参阅https://composer.php.ac.cn/

  1. 运行composer require resque/php-resque

  2. 如果您还没有,请将Composer自动加载添加到项目初始化文件中。(示例)

require 'vendor/autoload.php';

作业

排队作业

作业按以下方式排队

// Required if redis is located elsewhere
Resque\Resque::setBackend('localhost:6379');

$args = array(
          'name' => 'Chris'
        );
Resque\Resque::enqueue('default', 'My_Job', $args);

定义作业

每个作业应在其自己的类中,并包含一个perform方法。

class My_Job
{
    public function perform()
    {
        // Work work work
        echo $this->args['name'];
    }
}

当作业运行时,该类将被实例化,并将任何参数作为数组设置在实例化的对象上,并通过$this->args访问。

作业抛出的任何异常都会导致作业失败 - 请在这里小心,并确保您处理了不应该导致作业失败的异常。

作业还可以有setUptearDown方法。如果定义了setUp方法,则它将在运行perform方法之前被调用。如果定义了tearDown方法,则它将在作业完成后被调用。

class My_Job
{
    public function setUp()
    {
        // ... Set up environment for this job
    }

    public function perform()
    {
        // .. Run job
    }

    public function tearDown()
    {
        // ... Remove environment for this job
    }
}

出队作业

此方法可以方便地从队列中删除一个作业。

// Removes job class 'My_Job' of queue 'default'
Resque\Resque::dequeue('default', ['My_Job']);

// Removes job class 'My_Job' with Job ID '087df5819a790ac666c9608e2234b21e' of queue 'default'
Resque\Resque::dequeue('default', ['My_Job' => '087df5819a790ac666c9608e2234b21e']);

// Removes job class 'My_Job' with arguments of queue 'default'
Resque\Resque::dequeue('default', ['My_Job' => array('foo' => 1, 'bar' => 2)]);

// Removes multiple jobs
Resque\Resque::dequeue('default', ['My_Job', 'My_Job2']);

如果没有提供作业,此方法将移除所有匹配提供的队列的作业。

// Removes all jobs of queue 'default'
Resque\Resque::dequeue('default');

跟踪作业状态

php-resque 能够执行已排队作业的基本状态跟踪。状态信息将允许您检查作业是否在队列中、正在运行、已完成或已失败。

要跟踪作业状态,请将 true 作为 Resque\Resque::enqueue 的第四个参数传递。将返回用于跟踪作业状态的令牌

$token = Resque\Resque::enqueue('default', 'My_Job', $args, true);
echo $token;

要获取作业的状态

$status = new Resque\Job\Status($token);
echo $status->get(); // Outputs the status

作业状态在 Resque\Job\Status 类中定义为常量。有效的状态包括

  • Resque\Job\Status::STATUS_WAITING - 作业仍在队列中
  • Resque\Job\Status::STATUS_RUNNING - 作业正在运行
  • Resque\Job\Status::STATUS_FAILED - 作业已失败
  • Resque\Job\Status::STATUS_COMPLETE - 作业已完成
  • false - 获取状态失败;令牌有效吗?

作业完成或失败后的状态最多可用 24 小时,然后自动过期。也可以通过在状态类上调用 stop() 方法强制过期状态。

获取作业 PID

您可以通过 Resque\Job\PID 获取执行工作的实际进程的 PID。在分叉操作系统中,这将是分叉进程的 PID。

注意:在非分叉操作系统中,返回的 PID 将是工作进程自身的 PID。

echo Resque\Job\PID::get($token);

如果 perform 尚未开始,或已经结束,则函数返回 0

延迟作业

以下引用 Ruby resque-scheduler 的文档

延迟作业是您希望在未来某个时间点将其放入队列的一次性作业。经典的例子是发送电子邮件

require 'Resque.php';
require 'Scheduler.php';

$in = 3600;
$args = array('id' => $user->id);
Resque\Scheduler::enqueueIn($in, 'email', 'SendFollowUpEmail', $args);

以上操作将作业存储在延迟队列中 1 小时,然后提取作业并将其提交到 Resque 的 email 队列进行处理,以便一旦有可用的工作进程即可进行处理。

除了以秒为单位传递相对时间外,您还可以将时间戳作为 DateTime 对象或包含 UNIX 时间戳的整数传递给 enqueueAt 方法

require 'Resque.php';
require 'Scheduler.php';

$time = 1332067214;
Resque\Scheduler::enqueueAt($time, 'email', 'SendFollowUpEmail', $args);

$datetime = new DateTime('2012-03-18 13:21:49');
Resque\Scheduler::enqueueAt($datetime, 'email', 'SendFollowUpEmail', $args);

注意:resque-scheduler 不保证作业会在指定的时间触发。在指定的时间,resque-scheduler 将作业从延迟队列中取出,并将其推送到 Resque 中适当的队列。下一个可用的 Resque 工作进程将选择作业。为了尽可能快地处理,请尽可能保持队列为空。

工作进程

工作进程的工作方式与 Ruby 工作进程完全相同。有关工作进程的完整文档,请参阅原始文档。

包含了一个基本的 "启动运行" bin/resque 文件,该文件设置了一个运行工作进程的环境。(通过 Composer 安装时为 vendor/bin/resque

与 Ruby 版本的 resque 相似性的例外是工作进程的初始设置。为了在所有环境中工作,而不是像 Ruby 那样只有一个环境,PHP 端口 没有 对您的设置做出假设。

要启动工作进程,与 Ruby 版本非常相似

$ QUEUE=file_serve php bin/resque

告诉工作进程要包含哪个文件以开始应用程序是您的责任。您通过设置 APP_INCLUDE 环境变量来完成此操作

$ QUEUE=file_serve APP_INCLUDE=../application/init.php php bin/resque

提示:使用 Composer?很可能会发现您不需要担心 APP_INCLUDE,因为希望 Composer 也负责自动加载您的应用程序!

开始应用程序还包括告诉工作进程您的作业类,通过自动加载器或包含它们的方式

或者,您始终可以从应用程序中 include('bin/resque'),而无需设置 APP_INCLUDE。只需确保在执行之前设置了各种环境变量即可。

日志记录

端口支持用于将日志记录到标准输出的相同环境变量。设置VERBOSE将打印基本调试信息,而VVERBOSE将打印详细信息。

$ VERBOSE=1 QUEUE=file_serve bin/resque
$ VVERBOSE=1 QUEUE=file_serve bin/resque

优先级和队列列表

同样,优先级和队列列表功能与Ruby工作进程完全相同。多个队列应以逗号分隔,并且它们被提供的顺序是它们被检查的顺序。

根据原始示例

$ QUEUE=file_serve,warm_cache bin/resque

file_serve队列将在检查warm_cache队列之前在每个迭代中始终检查新任务。

运行所有队列

所有队列都按相同的方式支持并以字母顺序处理

$ QUEUE='*' bin/resque

运行多个工作进程

可以通过提供COUNT环境变量同时启动多个工作进程

$ COUNT=5 bin/resque

然而,请注意,每个工作进程都是一个单独的分支,并且原始进程将在产生COUNT个分支后立即关闭。如果您需要使用外部应用程序(如monit)跟踪工作进程,则需要解决这个限制。

自定义前缀

当您有多个应用程序使用相同的Redis数据库时,最好使用自定义前缀来区分Resque数据

$ PREFIX=my-app-name bin/resque

设置Redis后端

当Redis数据库与运行工作进程的主机不同时,您必须设置REDIS_BACKEND环境变量

$ REDIS_BACKEND=my-redis-ip:my-redis-port bin/resque

分支

类似于Ruby版本,支持的平台将在获取任务后立即分支。分支的子进程将在任务完成后退出。

与php-resque的不同之处在于,如果分支的子进程没有优雅地退出(PHP错误等),php-resque将自动失败任务。

信号

信号在支持的平台上工作,与Resque的Ruby版本完全相同

  • QUIT - 等待任务完成处理然后退出
  • TERM / INT - 立即终止任务然后退出
  • USR1 - 立即终止任务但不退出
  • USR2 - 暂停工作进程,不会处理新任务
  • CONT - 继续工作进程。

进程标题/状态

Resque的Ruby版本有一个很酷的功能,即更新工作进程的进程标题以指示工作进程正在做什么,并且任何分支的子进程也将设置其进程标题,以运行正在运行的任务。这有助于识别服务器上正在运行的过程及其resque状态。

PHP默认情况下不具有此功能,直到5.5。

存在一个PECL模块(http://pecl.php.net/package/proctitle),它将此功能添加到5.5之前的PHP中,因此如果您想更新进程标题,请安装此PECL模块。php-resque将自动检测并使用它。

Resque调度器

resque-scheduler需要一个特殊的在后台运行的工作进程。该工作进程负责从调度/延迟队列中提取项目并将其添加到resque的队列中。这意味着要执行延迟或计划的任务,该工作进程需要运行。

包含设置运行工作进程环境的“启动和运行”基本bin/resque-scheduler文件(通过composer安装时为vendor/bin/resque-scheduler)。它接受与php-resque的主要工作进程相同的许多环境变量

  • REDIS_BACKEND - 要连接的Redis服务器
  • LOGGING - 启用将日志记录到标准输出
  • VERBOSE - 启用详细日志记录
  • VVERBOSE - 启用非常详细日志记录
  • INTERVAL - 在检查调度/延迟队列之前睡眠此长时间
  • APP_INCLUDE - 启动时包含此文件(以启动您的应用程序)
  • PIDFILE - 将工作进程的PID写入此文件

启动resque-scheduler工作进程很容易使用bin/resque-scheduler:$ php bin/resque-scheduler

事件/钩子系统

php-resque 拥有一个基本的事件系统,您的应用程序可以使用该系统来自定义一些 php-resque 内部行为。

您可以通过注册 Resque\Event 并提供在事件被触发时希望执行的回调函数来监听事件(如下所示)。

Resque\Event::listen('eventName', [callback]);

[回调函数] 可以是 PHP 中任何可由 call_user_func_array 调用的内容。

  • 一个包含函数名的字符串。
  • 一个包含要调用对象和方法的数组。
  • 一个包含要调用对象和静态方法的数组。
  • 闭包(PHP 5.3+)。

事件可以传递参数(如下文所述),因此您的回调函数应接受这些参数。

您可以通过调用 Resque\Event::stopListening 并提供与 Resque\Event::listen 相同的参数来停止监听事件。

注册事件监听器是您应用程序的责任。当在应用程序中入队事件时,只需确保已加载 php-resque 并调用 Resque\Event::listen 即可。

当运行工作进程时,如果您通过默认的 bin/resque 脚本运行工作进程,则您的 APP_INCLUDE 脚本应初始化并注册任何必需的监听器。如果您有自己的工作进程管理器,那么注册监听器的责任又回到了您身上。

extras 目录中包含了一个示例插件。

事件

beforeFirstFork

在工作进程初始化时调用一次。传递的参数是刚刚初始化的 Resque\Worker\ResqueWorker 实例。

beforeFork

在 php-resque 分叉以运行作业之前调用。传递的参数包含即将运行的作业的 Resque\JobHandler 实例。

beforeFork父进程 中触发。所做的任何更改都将持续到 工作进程 生命周期结束。

afterFork

在 php-resque 分叉以运行作业之后(但在作业运行之前)调用。传递的参数包含即将运行的作业的 Resque\JobHandler 实例。

afterFork 在分叉出子进程以完成作业后触发。所做的任何更改将仅在 作业 处理期间存在。

beforePerform

在运行作业的 setUpperform 方法之前调用。传递的参数包含即将运行的作业的 Resque\JobHandler 实例。

您可以通过抛出 Resque\Exceptions\DoNotPerformException 异常来阻止作业的执行。抛出的任何其他异常都将被视为在作业中抛出,导致作业失败。

afterPerform

在运行作业的 performtearDown 方法之后调用。传递的参数包含刚刚运行的 Resque\JobHandler 实例。

抛出的任何异常都将被视为在作业中抛出,导致作业被标记为失败。

onFailure

每当作业失败时调用。传递的参数(按顺序)包括

  • 异常 - 作业失败时抛出的异常
  • Resque\JobHandler - 失败的作业

beforeEnqueue

在通过 Resque\Resque::enqueue 方法将作业入队之前立即调用。传递的参数(按顺序)包括

  • 类 - 包含要入队作业名称的字符串
  • 参数 - 作业参数数组
  • 队列 - 包含作业要入队队列名称的字符串
  • ID - 包含要入队作业标记的字符串

您可以通过抛出 Resque\Exceptions\DoNotCreateException 异常来阻止作业的入队。

afterEnqueue

在通过 Resque\Resque::enqueue 方法将作业入队之后调用。传递的参数(按顺序)包括

  • 类 - 包含预定作业名称的字符串
  • 参数 - 传递给作业的参数数组
  • 队列 - 包含作业被添加到的队列名称的字符串
  • 标识符 - 包含新令牌的字符串,表示已入列的任务

afterSchedule

在任务被添加到调度后调用。传递的参数包括时间戳、任务队列、任务类名和任务的参数。

beforeDelayedEnqueue

在任务从延迟队列中取出后立即调用,并在任务被添加到resque队列之前。传递的参数包括任务队列、任务类名和任务的参数。

步骤-by-步骤

要深入了解php-resque底层的工作原理(无需直接检查代码),请查看HOWITWORKS.md

贡献者

项目创建者

  • @chrisboulton

项目维护者

  • @danhunsaker
  • @rajibahmed
  • @steveklabnik

其他人

  • @acinader
  • @ajbonner
  • @andrewjshults
  • @atorres757
  • @benjisg
  • @biinari
  • @cballou
  • @chaitanyakuber
  • @charly22
  • @CyrilMazur
  • @d11wtq
  • @dceballos
  • @ebernhardson
  • @hlegius
  • @hobodave
  • @humancopy
  • @iskandar
  • @JesseObrien
  • @jjfrey
  • @jmathai
  • @joshhawthorne
  • @KevBurnsJr
  • @lboynton
  • @maetl
  • @matteosister
  • @MattHeath
  • @mickhrmweb
  • @Olden
  • @patrickbajao
  • @pedroarnal
  • @ptrofimov
  • @rayward
  • @richardkmiller
  • @Rockstar04
  • @ruudk
  • @salimane
  • @scragg0x
  • @scraton
  • @thedotedge
  • @tonypiper
  • @trimbletodd
  • @warezthebeef