david-garcia / php-resque

此软件包已被弃用且不再维护。作者建议使用 symfony/messenger 软件包。

chrisboulton/php-resque 的分支,包含了一些针对其他项目所需的更新

1.2.1 2017-12-05 13:57 UTC

This package is auto-updated.

Last update: 2021-06-25 08:22:02 UTC


README

Resque 是一个基于 Redis 的库,用于创建后台工作,将工作放入一个或多个队列中,并在稍后处理。

请注意

这是一个分支,包含了一些我为了其他项目需要应用的微小调整。

背景

Resque 由 GitHub 的优秀团队(是的,我是个马屁精)开创并开发,是用 Ruby 编写的。你在这里看到的是将 Resque 工作者和排队系统几乎直接移植到 PHP 的过程。

有关 Resque 的更多信息,请访问官方 GitHub 项目:https://github.com/resque/resque

有关更多信息,请参阅 GitHub 博客上的发布文章:http://github.com/blog/542-introducing-resque

PHP 版本不包括查看队列统计数据的自有网络界面,因为数据存储的格式与 Resque 的 Ruby 版本完全相同。

PHP 版本提供了与 Ruby 版本几乎相同的功能

  • 工作可以在多台机器之间分布式
  • 包括对优先级(队列)的支持
  • 对内存泄漏具有弹性(分叉)
  • 预期会失败

它还支持以下附加功能

  • 具有跟踪作业状态的能力
  • 如果运行作业的分叉子进程没有以状态码 0 退出,则将作业标记为失败
  • 具有内置对 setUptearDown 方法的支持,分别在作业前后调用

要求

  • PHP 5.3+
  • Redis 2.2+
  • 可选但推荐:Composer

入门

当 php-resque 作为你的项目中的 Composer 软件包安装时,与它一起工作是最简单的方法。Composer 不是必需的,但它会让生活变得更加容易。

如果你不熟悉 Composer,请参阅 https://getcomposer.org.cn/

  1. 将 php-resque 添加到应用程序的 composer.json 文件中
composer require david-garcia/php-resque
  1. 安装 composer 依赖项
composer install -o
  1. 如果你还没有做,将 Composer 自动加载添加到你的项目初始化文件中。(示例)
require 'vendor/autoload.php';

作业

队列作业

作业按照以下方式排队

// Required if redis is located elsewhere
Resque::setBackend('localhost:6379');

$args = array(
        'name' => 'Chris'
        );
Resque::enqueue('default', 'My_Job', $args);

定义作业

每个作业都应该在自己的类中,并包含一个 perform 方法。

class My_Job
{
    public function perform()
    {
        // Work work work
        echo $this->args['name'];
    }
}

当作业运行时,该类将被实例化,任何参数都将作为一个数组设置在实例化对象上,并且可以通过$this->args访问。

作业抛出的任何异常都会导致作业失败 - 这里要小心,确保处理那些不应该导致作业失败的异常。

作业还可以有setUptearDown方法。如果定义了setUp方法,它将在perform方法运行之前被调用。如果定义了tearDown方法,它将在作业完成后被调用。

class My_Job
{
    public function setUp()
    {
        // ... Set up environment for this job
    }

    public function perform()
    {
        // .. Run job
    }

    public function tearDown()
    {
        // ... Remove environment for this job
    }
}

作业出列

此方法可以方便地从队列中移除作业。

// Removes job class 'My_Job' of queue 'default'
Resque::dequeue('default', ['My_Job']);

// Removes job class 'My_Job' with Job ID '087df5819a790ac666c9608e2234b21e' of queue 'default'
Resque::dequeue('default', ['My_Job' => '087df5819a790ac666c9608e2234b21e']);

// Removes job class 'My_Job' with arguments of queue 'default'
Resque::dequeue('default', ['My_Job' => array('foo' => 1, 'bar' => 2)]);

// Removes multiple jobs
Resque::dequeue('default', ['My_Job', 'My_Job2']);

如果没有提供作业,此方法将出列所有与提供的队列匹配的作业。

// Removes all jobs of queue 'default'
Resque::dequeue('default');

跟踪作业状态

php-resque 具有对队列中作业进行基本状态跟踪的能力。状态信息将允许您检查作业是否在队列中,是否正在运行,是否已完成或已失败。

要跟踪作业状态,将true作为Resque::enqueue的第四个参数传递。将返回用于跟踪作业状态的令牌

$token = Resque::enqueue('default', 'My_Job', $args, true);
echo $token;

要获取作业的状态

$status = new Resque_Job_Status($token);
echo $status->get(); // Outputs the status

作业状态在Resque_Job_Status类中定义为常量。有效状态包括

  • Resque_Job_Status::STATUS_WAITING - 作业仍在队列中
  • Resque_Job_Status::STATUS_RUNNING - 作业正在运行
  • Resque_Job_Status::STATUS_FAILED - 作业已失败
  • Resque_Job_Status::STATUS_COMPLETE - 作业已完成
  • false - 获取状态失败 - 令牌有效吗?

状态在作业完成或失败后最多24小时内可用,之后将自动过期。还可以通过在状态类上调用stop()方法强制状态过期。

工作者

工作者与Ruby工作者完全一样工作。有关工作者的完整文档,请参阅原始文档。

包括了一个基本的“启动运行”的bin/resque文件,该文件设置了运行工作者的环境。(通过Composer安装时为vendor/bin/resque

与Ruby版本resque的相似之处在于工作者的初始设置。为了在所有环境中工作,而不是像Ruby那样只有一个环境,PHP端口对您的设置没有任何假设

要启动工作者,与Ruby版本非常相似

$ QUEUE=file_serve php bin/resque

告诉工作者哪个文件包含以开始应用程序是您的责任。您通过设置APP_INCLUDE环境变量来这样做

$ QUEUE=file_serve APP_INCLUDE=../application/init.php php bin/resque

技巧:使用Composer?很可能会发现您不需要担心APP_INCLUDE,因为Composer可能也负责自动加载您的应用程序!

开始应用程序还包括告诉工作者您的作业类,通过自动加载器或包含它们。

或者,您始终可以从应用程序中include('bin/resque')并完全跳过设置APP_INCLUDE。只是在您这样做之前确保设置了各种环境变量(setenv)。

日志记录

端口支持将日志记录到STDOUT的相同环境变量。设置VERBOSE将打印基本调试信息,而VVERBOSE将打印详细信息。

$ VERBOSE=1 QUEUE=file_serve bin/resque
$ VVERBOSE=1 QUEUE=file_serve bin/resque

优先级和队列列表

同样,优先级和队列列表功能与Ruby工作者完全相同。多个队列应以逗号分隔,并且它们提供的顺序是它们被检查的顺序。

按照原始示例

$ QUEUE=file_serve,warm_cache bin/resque

file_serve 队列将在每次迭代中首先检查是否有新任务,然后才会检查 warm_cache 队列。

运行所有队列

所有队列以相同的方式支持,并按字母顺序处理。

$ QUEUE='*' bin/resque

运行多个工作进程

可以通过提供 COUNT 环境变量同时启动多个工作进程。

$ COUNT=5 bin/resque

然而,要注意,每个工作进程都是其自身的子进程,并且原始进程将在创建 COUNT 个子进程后立即关闭。如果您需要使用如 monit 等外部应用程序跟踪工作进程,您需要克服这个限制。

自定义前缀

当多个应用程序使用相同的 Redis 数据库时,最好使用自定义前缀来区分 Resque 数据。

$ PREFIX=my-app-name bin/resque

分割(Forking)

类似于 Ruby 版本,支持的平台在获取任务后会立即进行分割。分割的子进程将在任务完成后立即退出。

与 php-resque 的区别在于,如果一个分割的子进程没有正常退出(PHP 错误等),php-resque 将自动失败该任务。

信号

信号在支持的平台上与 Ruby 版本的 Resque 完全相同。

  • QUIT - 等待任务处理完成然后退出
  • TERM / INT - 立即杀死任务然后退出
  • USR1 - 立即杀死任务但不退出
  • USR2 - 暂停工作进程,不再处理新任务
  • CONT - 恢复工作进程。

进程标题/状态

Resque 的 Ruby 版本有一个很酷的功能,可以更新工作进程的进程标题以指示工作进程正在做什么,任何分割的子进程也会设置其进程标题,以指示正在运行的任务。这有助于识别服务器上运行的过程及其 Resque 状态。

PHP 默认情况下直到 5.5 版本没有这个功能。

存在一个 PECL 模块(http://pecl.php.net/package/proctitle),在 5.5 版本之前为 PHP 添加了这个功能,因此如果您想更新进程标题,还需要安装这个 PECL 模块。php-resque 将自动检测并使用它。

事件/钩子系统

php-resque 有一个基本的事件系统,可以由您的应用程序使用来自定义一些 php-resque 内部行为的操作方式。

您可以通过使用 Resque_Event 进行注册,并提供一个回调来监听以下列出的事件。

Resque_Event::listen('eventName', [callback]);

[callback] 可以是 PHP 中任何可通过 call_user_func_array 调用的内容。

  • 一个包含函数名称的字符串
  • 包含一个对象和要调用的方法的数组
  • 包含一个对象和要调用的静态方法的数组
  • 闭包(PHP 5.3+)

事件可以传递参数(以下文档化),因此您的回调应该接受这些参数。

您可以通过调用 Resque_Event::stopListening 并使用与 Resque_Event::listen 相同的参数来停止监听事件。

注册事件监听器的任务由您的应用程序负责。在您的应用程序中入队事件时,应该像确保php-resque已加载并调用Resque_Event::listen一样简单。

当运行工作进程时,如果您通过默认的bin/resque脚本来运行工作进程,您的APP_INCLUDE脚本应初始化并注册操作所需的所有监听器。如果您自己开发了工作进程管理器,那么注册监听器的责任也在您身上。

一个示例插件包含在extras目录中。

事件

beforeFirstFork

在工作进程初始化时调用一次。传入的参数是刚刚初始化的Resque_Worker实例。

beforeFork

在php-resque分叉以运行作业之前调用。传入的参数包含即将运行的作业的Resque_Job实例。

beforeFork在父进程中触发。所做的任何更改都将对整个工作进程的生命周期永久有效。

afterFork

在php-resque分叉以运行作业(但在作业运行之前)时调用。传入的参数包含即将运行的作业的Resque_Job实例。

afterFork在分叉出子进程以完成作业后触发。所做的任何更改将仅存在于作业处理期间。

beforePerform

在运行作业的setUpperform方法之前调用。传入的参数包含即将运行的作业的Resque_Job实例。

您可以通过抛出Resque_Job_DontPerform异常来防止作业的执行。抛出的任何其他异常都将被视为在作业中抛出,导致作业失败。

afterPerform

在运行作业的performtearDown方法之后调用。传入的参数包含刚刚运行的Resque_Job实例。

抛出的任何异常都将被视为在作业中抛出,导致作业被标记为失败。

onFailure

每当作业失败时调用。传入的参数(按此顺序)包括

  • 异常 - 作业失败时抛出的异常
  • Resque_Job - 失败的作业

beforeEnqueue

在通过Resque::enqueue方法将作业入队之前立即调用。传入的参数(按此顺序)包括

  • 类 - 包含要入队作业的名称的字符串
  • 参数 - 作业的参数数组
  • 队列 - 包含作业要入队的队列名称的字符串
  • ID - 包含要入队作业的标记的字符串

您可以通过抛出Resque_Job_DontCreate异常来防止作业的入队。

afterEnqueue

在通过Resque::enqueue方法将作业入队后调用。传入的参数(按此顺序)包括

  • 类 - 包含计划作业的名称的字符串
  • 参数 - 传递给作业的参数数组
  • 队列 - 包含作业被添加到的队列名称的字符串
  • 标识符 - 包含入队作业的新令牌的字符串

分步指南

要深入了解php-resque在底层做了什么(无需直接检查代码),请参阅HOWITWORKS.md

贡献者

项目负责人

  • @chrisboulton

其他人员

  • @acinader
  • @ajbonner
  • @andrewjshults
  • @atorres757
  • @benjisg
  • @cballou
  • @chaitanyakuber
  • @charly22
  • @CyrilMazur
  • @d11wtq
  • @danhunsaker
  • @dceballos
  • @ebernhardson
  • @hlegius
  • @hobodave
  • @humancopy
  • @iskandar
  • @JesseObrien
  • @jjfrey
  • @jmathai
  • @joshhawthorne
  • @KevBurnsJr
  • @lboynton
  • @maetl
  • @matteosister
  • @MattHeath
  • @mickhrmweb
  • @Olden
  • @patrickbajao
  • @pedroarnal
  • @ptrofimov
  • @rajibahmed
  • @richardkmiller
  • @Rockstar04
  • @ruudk
  • @salimane
  • @scragg0x
  • @scraton
  • @thedotedge
  • @tonypiper
  • @trimbletodd
  • @warezthebeef