zrcing/php-resque

基于Redis的后台任务库,用于创建后台任务并在以后处理它们。基于Ruby的resque。

1.2.1 2018-01-18 02:41 UTC

This package is not auto-updated.

Last update: 2024-09-14 20:04:00 UTC


README

从chrisboulton/php-resque进行分支。

Resque是一个基于Redis的后台任务库,用于创建后台任务,将这些任务放入一个或多个队列中,并在以后处理它们。

背景

Resque由GitHub的优秀团队(是的,我是一个拍马屁的人)开创并开发,用Ruby编写。你在这里看到的是Resque工作器和入队系统的PHP直接移植。

有关Resque的更多信息,请访问官方GitHub项目:https://github.com/resque/resque

有关更多信息,请参阅GitHub博客的发布帖子:http://github.com/blog/542-introducing-resque

PHP端口不包含自己的Web界面来查看队列统计信息,因为数据存储的格式与Resque的Ruby版本完全相同。

PHP端口提供与Ruby版本非常相似的功能

  • 工作器可以在多台机器之间分布式
  • 包括对优先级(队列)的支持
  • 对内存泄漏具有弹性(分叉)
  • 期望失败

它还支持以下附加功能

  • 具有跟踪作业状态的能力
  • 如果分叉子进程运行作业时未以状态码0退出,则将作业标记为失败
  • 内置对setUptearDown方法的内置支持,在作业前后调用

要求

  • PHP 5.3+
  • Redis 2.2+
  • 可选但推荐:Composer

入门

在项目中作为Composer包安装php-resque是使用php-resque的最简单方法。Composer不是必需的,但可以使生活变得更加容易。

如果您不熟悉Composer,请参阅http://getcomposer.org/

  1. 将php-resque添加到应用程序的composer.json中。
{
    // ...
    "require": {
        "chrisboulton/php-resque": "1.2.x"	// Most recent tagged version
    },
    // ...
}
  1. 运行composer install

  2. 如果您尚未这样做,请将Composer自动加载添加到项目初始化文件中。(示例)

require 'vendor/autoload.php';

作业

排队作业

作业如下排队

// Required if redis is located elsewhere
Resque::setBackend('localhost:6379');

$args = array(
        'name' => 'Chris'
        );
Resque::enqueue('default', 'My_Job', $args);

定义作业

每个作业应该在其自己的类中,并包含一个perform方法。

class My_Job
{
    public function perform()
    {
        // Work work work
        echo $this->args['name'];
    }
}

当作业运行时,将实例化类,并将任何参数设置为实例对象的数组,并且可以通过$this->args访问。

作业抛出的任何异常都会导致作业失败 - 请在这里小心,并确保您处理不应导致作业失败的异常。

作业还可以有setUptearDown方法。如果定义了setUp方法,则会在运行perform方法之前调用它。如果定义了tearDown方法,则会在作业完成后调用它。

class My_Job
{
    public function setUp()
    {
        // ... Set up environment for this job
    }

    public function perform()
    {
        // .. Run job
    }

    public function tearDown()
    {
        // ... Remove environment for this job
    }
}

出队作业

可以使用此方法方便地从队列中删除作业。

// Removes job class 'My_Job' of queue 'default'
Resque::dequeue('default', ['My_Job']);

// Removes job class 'My_Job' with Job ID '087df5819a790ac666c9608e2234b21e' of queue 'default'
Resque::dequeue('default', ['My_Job' => '087df5819a790ac666c9608e2234b21e']);

// Removes job class 'My_Job' with arguments of queue 'default'
Resque::dequeue('default', ['My_Job' => array('foo' => 1, 'bar' => 2)]);

// Removes multiple jobs
Resque::dequeue('default', ['My_Job', 'My_Job2']);

如果没有提供作业,则此方法将出队所有与提供的队列匹配的作业。

// Removes all jobs of queue 'default'
Resque::dequeue('default');

跟踪作业状态

php-resque具有执行排队作业基本状态跟踪的能力。状态信息将允许您检查作业是否在队列中,是否正在运行,是否已完成或已失败。

要跟踪作业的状态,请将true作为第四个参数传递给Resque::enqueue。将返回用于跟踪作业状态的令牌

$token = Resque::enqueue('default', 'My_Job', $args, true);
echo $token;

要获取作业的状态

$status = new Resque_Job_Status($token);
echo $status->get(); // Outputs the status

工作状态定义为 Resque_Job_Status 类中的常量。有效状态包括

  • Resque_Job_Status::STATUS_WAITING - 任务仍在队列中
  • Resque_Job_Status::STATUS_RUNNING - 任务正在运行
  • Resque_Job_Status::STATUS_FAILED - 任务已失败
  • Resque_Job_Status::STATUS_COMPLETE - 任务已完成
  • false - 无法获取状态 - 令牌是否有效?

工作完成或失败后,状态有效期为24小时,之后将自动过期。也可以通过在状态类上调用 stop() 方法强制状态过期。

工作进程

工作进程与Ruby工作进程的工作方式完全相同。有关工作进程的完整文档,请参阅原始文档。

包含一个基本的“启动运行”的 bin/resque 文件,该文件设置运行工作进程的环境。(vendor/bin/resque 当通过Composer安装时)

与resque的Ruby版本相似之处在于,为了在所有环境中工作,而不是像Ruby那样只有一个环境,PHP端口对您的设置没有 任何 假设。

要启动工作进程,它与Ruby版本非常相似

$ QUEUE=file_serve php bin/resque

您需要负责告诉工作进程要包含哪个文件才能启动应用程序。您可以通过设置 APP_INCLUDE 环境变量来实现

$ QUEUE=file_serve APP_INCLUDE=../application/init.php php bin/resque

技巧:使用Composer?很可能是这样,您不需要担心 APP_INCLUDE,因为希望Composer也负责自动加载您的应用程序!

启动应用程序还包括通过自动加载器或包含它们的方式告诉工作进程您的任务类。

或者,您始终可以从应用程序中 include('bin/resque') 并完全跳过设置 APP_INCLUDE。但是,请确保在这样做之前设置了各种环境变量。

日志记录

端口支持用于记录到STDOUT的相同环境变量。设置 VERBOSE 将打印基本的调试信息,而 VVERBOSE 将打印详细信息。

$ VERBOSE=1 QUEUE=file_serve bin/resque
$ VVERBOSE=1 QUEUE=file_serve bin/resque

优先级和队列列表

同样,优先级和队列列表功能与Ruby工作进程完全相同。多个队列应以逗号分隔,它们提供的顺序是它们被检查的顺序。

按照原始示例

$ QUEUE=file_serve,warm_cache bin/resque

在检查 warm_cache 队列之前,将始终在每个迭代中检查 file_serve 队列是否有新任务。

运行所有队列

所有队列均以相同的方式支持并按字母顺序处理

$ QUEUE='*' bin/resque

运行多个工作进程

可以通过提供 COUNT 环境变量同时启动多个工作进程

$ COUNT=5 bin/resque

但是请注意,每个工作进程都是自己的进程,原始进程将在产生 COUNT 进程之后立即关闭。如果您需要使用外部应用程序(如 monit)跟踪您的进程,您将需要解决这个限制。

自定义前缀

当您有多个应用程序使用相同的Redis数据库时,最好使用自定义前缀来分隔Resque数据

$ PREFIX=my-app-name bin/resque

分割

类似于Ruby版本,支持的平台将在接收到任务后立即分割。分割的子进程将在任务完成后退出。

与php-resque的区别在于,如果分割的子进程没有优雅地退出(PHP错误等),php-resque将自动失败任务。

信号

信号在支持的平台上的工作方式与Resque的Ruby版本完全相同

  • QUIT - 等待任务完成处理然后退出
  • TERM / INT - 立即终止任务然后退出
  • USR1 - 立即终止任务但不退出
  • USR2 - 暂停工作进程,不会处理任何新任务
  • CONT - 继续工作进程。

进程标题/状态

Resque的Ruby版本有一个巧妙的功能,可以将工作进程的标题更新为正在执行的操作,任何分叉的子进程也会设置其进程标题为正在运行的作业。这有助于识别服务器上正在运行的过程及其Resque状态。

PHP默认情况下直到5.5版本都没有这个功能。

存在一个PECL模块(http://pecl.php.net/package/proctitle),它为5.5之前的PHP添加了这个功能,所以如果您想更新进程标题,请安装PECL模块。php-resque将自动检测并使用它。

事件/钩子系统

php-resque有一个基本的事件系统,您的应用程序可以使用它来自定义一些php-resque内部的行为。

您可以通过注册Resque_Event并提供一个在事件被触发时希望触发的回调来监听事件(如下所示)

Resque_Event::listen('eventName', [callback]);

[回调]可以是PHP中任何可以通过call_user_func_array调用的东西

  • 一个包含函数名称的字符串
  • 包含要调用的对象和方法数组的数组
  • 包含要调用的对象和静态方法的数组
  • 闭包(PHP 5.3+)

事件可能传递参数(如下文所述),因此您的回调应接受这些参数。

您可以通过调用Resque_Event::stopListening并使用与Resque_Event::listen相同的参数来停止监听事件。

注册事件监听器是您应用程序的责任。当在应用程序中排队事件时,只需确保php-resque已加载并调用Resque_Event::listen即可。

当运行工作进程时,如果您通过默认的bin/resque脚本运行工作进程,您的APP_INCLUDE脚本应初始化并注册任何必要的监听器。如果您有自己的工作进程管理器,那么注册监听器又是您的责任。

一个示例插件包含在extras目录中。

事件

beforeFirstFork

在工作进程初始化时调用一次。传入的参数是刚刚初始化的Resque_Worker实例。

beforeFork

在php-resque分叉以运行作业之前调用。传入的参数包含即将运行的作业的Resque_Job实例。

beforeFork父进程中触发。所做的任何更改都将持续到工作进程的生命周期。

afterFork

在php-resque分叉以运行作业(但在运行作业之前)后调用。传入的参数包含即将运行的作业的Resque_Job实例。

afterFork在分叉出子进程以完成作业后的子进程中触发。所做的任何更改仅存在于处理作业期间。

beforePerform

在运行作业的setUpperform方法之前调用。传入的参数包含即将运行的作业的Resque_Job实例。

您可以通过抛出Resque_Job_DontPerform异常来防止执行作业。任何其他抛出的异常将被视为在作业中抛出,导致作业失败。

afterPerform

在运行作业的performtearDown方法之后调用。传入的参数包含刚刚运行的Resque_Job实例。

抛出的任何异常都将被视为在作业中抛出,导致作业被标记为失败。

onFailure

每次作业失败时都会调用。传入的参数(按此顺序)包括

  • 异常 - 作业失败时抛出的异常
  • Resque_Job - 失败的作业

beforeEnqueue

使用Resque::enqueue方法将作业排队之前立即调用。传入的参数(按此顺序)包括

  • 类 - 包含要排队的作业名称的字符串
  • 参数 - 作业的参数数组
  • 队列 - 包含作业要入队的队列名称的字符串
  • ID - 包含要入队作业标记的字符串

您可以通过抛出 Resque_Job_DontCreate 异常来防止作业入队。

afterEnqueue

在调用 Resque::enqueue 方法将作业入队后调用。按顺序传递的参数包括

  • 类 - 包含计划作业名称的字符串
  • 参数 - 传递给作业的参数数组
  • 队列 - 包含作业被添加到的队列名称的字符串
  • ID - 包含入队作业的新标记的字符串

步骤-by-步骤

要深入了解 php-resque 在底层做了什么(而不需要直接检查代码),请查看 HOWITWORKS.md

贡献者

项目负责人

  • @chrisboulton

其他人

  • @acinader
  • @ajbonner
  • @andrewjshults
  • @atorres757
  • @benjisg
  • @cballou
  • @chaitanyakuber
  • @charly22
  • @CyrilMazur
  • @d11wtq
  • @danhunsaker
  • @dceballos
  • @ebernhardson
  • @hlegius
  • @hobodave
  • @humancopy
  • @iskandar
  • @JesseObrien
  • @jjfrey
  • @jmathai
  • @joshhawthorne
  • @KevBurnsJr
  • @lboynton
  • @maetl
  • @matteosister
  • @MattHeath
  • @mickhrmweb
  • @Olden
  • @patrickbajao
  • @pedroarnal
  • @ptrofimov
  • @rajibahmed
  • @richardkmiller
  • @Rockstar04
  • @ruudk
  • @salimane
  • @scragg0x
  • @scraton
  • @thedotedge
  • @tonypiper
  • @trimbletodd
  • @warezthebeef