he/queue

基于Redis的后台任务库,用于创建和稍后处理任务。基于Ruby的resque。

v1.0 2021-06-18 07:31 UTC

This package is not auto-updated.

Last update: 2024-09-21 21:16:55 UTC


README

###增加namespace
###使用pcntl_async_signals替换declare 提高性能 不支持php7.1以下
###更改执行方式 原始方式每个任务fork一个子进程 执行完退出
###更改后 子进程常驻执行任务 父进程检测到子进程异常退出 重新拉起子进程

要求

  • PHP 7.1+
  • Redis 4.0+
  • 推荐但非必需:Composer

入门

当php-resque作为你的项目中的Composer包安装时,使用它是最容易的。Composer不是必需的,但它使生活变得更加容易。

如果你不熟悉Composer,请参阅 https://composer.php.ac.cn/

  1. 将php-resque添加到你的应用的composer.json文件中。
{
    "require": {
        "he/queue": "1.0"
    }
}
  1. 运行 composer install

  2. 如果你还没有,请将Composer的自动加载添加到你的项目初始化文件中。(示例)

require 'vendor/autoload.php';

示例

QUEUE=* REDIS_BACKEND=redis://user:password@localhost:6379/0?pass=password bin/resque
REDIS_BACKEND=redis://user:password@localhost:6379/0?pass=password bin/push

工作

排队任务

任务按以下方式排队

// Required if redis is located elsewhere
Resque::setBackend('localhost:6379');

$args = array(
        'name' => 'Chris'
        );
Resque::enqueue('default', 'My_Job', $args);

定义任务

每个任务应在其自己的类中,并包含一个perform方法。

class My_Job
{
    public function perform()
    {
        // Work work work
        echo $this->args['name'];
    }
}

当任务运行时,类将被实例化,任何参数都将作为一个数组设置在实例化的对象上,并且可以通过$this->args访问。

任务抛出的任何异常都会导致任务失败 - 请在这里小心,并确保你处理了不应导致任务失败的异常。

任务还可以有setUptearDown方法。如果定义了setUp方法,它将在运行perform方法之前被调用。如果定义了tearDown方法,它将在任务完成后被调用。

class My_Job
{
    public function setUp()
    {
        // ... Set up environment for this job
    }

    public function perform()
    {
        // .. Run job
    }

    public function tearDown()
    {
        // ... Remove environment for this job
    }
}

出队任务

此方法可以用来方便地从队列中移除任务。

// Removes job class 'My_Job' of queue 'default'
Resque::dequeue('default', ['My_Job']);

// Removes job class 'My_Job' with Job ID '087df5819a790ac666c9608e2234b21e' of queue 'default'
Resque::dequeue('default', ['My_Job' => '087df5819a790ac666c9608e2234b21e']);

// Removes job class 'My_Job' with arguments of queue 'default'
Resque::dequeue('default', ['My_Job' => array('foo' => 1, 'bar' => 2)]);

// Removes multiple jobs
Resque::dequeue('default', ['My_Job', 'My_Job2']);

如果没有给出任务,此方法将出队所有匹配提供的队列的任务。

// Removes all jobs of queue 'default'
Resque::dequeue('default');

跟踪任务状态

php-resque具有执行已排队任务的基本状态跟踪能力。状态信息将允许你检查任务是否在队列中、正在运行、已完成或已失败。

要跟踪任务的状态,请将true作为Resque::enqueue的第四个参数传递。将返回用于跟踪任务状态的令牌。

$token = Resque::enqueue('default', 'My_Job', $args, true);
echo $token;

要获取任务的状态

$status = new Resque_Job_Status($token);
echo $status->get(); // Outputs the status

任务状态在Resque_Job_Status类中定义为常量。有效的状态包括

  • Resque_Job_Status::STATUS_WAITING - 任务仍在队列中
  • Resque_Job_Status::STATUS_RUNNING - 任务正在运行
  • Resque_Job_Status::STATUS_FAILED - 任务已失败
  • Resque_Job_Status::STATUS_COMPLETE - 任务已完成
  • false - 无法获取状态 - 令牌是否有效?

状态在任务完成或失败后24小时内可用,然后自动过期。也可以通过在状态类上调用stop()方法强制过期状态。

工作进程

工作进程的工作方式与Ruby工作进程完全相同。有关工作进程的完整文档,请参阅原始文档。

包含了一个基本的“启动运行”的bin/resque文件,该文件设置了一个运行的工作进程环境。(通过Composer安装时为vendor/bin/resque

与Ruby版本的resque相比,唯一的区别是如何初始化工作进程。为了在所有环境中工作,而不像Ruby那样只有一个环境,PHP端口对您的设置没有任何假设。

要启动工作进程,它与Ruby版本非常相似

$ QUEUE=file_serve php bin/resque

你有责任告诉工作进程要包含哪个文件来开始你的应用程序。你可以通过设置APP_INCLUDE环境变量来完成

$ QUEUE=file_serve APP_INCLUDE=../application/init.php php bin/resque

小贴士:使用Composer吗?很可能会用不着担心APP_INCLUDE,因为希望Composer也负责自动加载您的应用程序!

启动您的应用程序还包括通过自动加载器或包含它们的方式来告诉工作进程您的作业类。

或者,您始终可以从应用程序中包含bin/resque并完全跳过设置APP_INCLUDE。但是,请在操作之前确保设置了各种环境变量(setenv)。

日志记录

端口号支持相同的日志环境变量,用于将日志记录到STDOUT。设置VERBOSE将打印基本调试信息,而VVERBOSE将打印详细信息。

$ VERBOSE=1 QUEUE=file_serve bin/resque
$ VVERBOSE=1 QUEUE=file_serve bin/resque

优先级和队列列表

同样,优先级和队列列表功能与Ruby工作进程的工作方式完全相同。多个队列应以逗号分隔,并且它们提供的顺序是它们被检查的顺序。

按照原始示例

$ QUEUE=file_serve,warm_cache bin/resque

file_serve队列将在检查warm_cache队列之前,在每个迭代中始终检查是否有新作业。

运行所有队列

所有队列都按相同的方式支持并以字母顺序处理

$ QUEUE='*' bin/resque

运行多个工作进程

可以通过提供COUNT环境变量同时启动多个工作进程

$ COUNT=5 bin/resque

然而,请注意,每个工作进程都是一个独立的分叉,并且原始进程将在产生COUNT个分叉后立即关闭。如果您需要使用像monit这样的外部应用程序来跟踪您的作业,您需要绕过这个限制。

自定义前缀

当您有多个应用程序使用相同的Redis数据库时,最好使用自定义前缀来分隔Resque数据

$ PREFIX=my-app-name bin/resque

分叉

类似于Ruby版本,支持的平台将在获取作业后立即进行分叉。分叉的子进程将在作业完成后退出。

与php-resque的区别在于,如果分叉的子进程没有优雅地退出(PHP错误或其他),php-resque将自动失败作业。

信号

信号在支持的平台上的工作方式与Resque的Ruby版本完全相同

  • QUIT - 等待作业完成处理然后退出
  • TERM / INT - 立即杀死作业然后退出
  • USR1 - 立即杀死作业但不退出
  • USR2 - 暂停工作进程,不会处理新作业
  • CONT - 恢复工作进程。

进程标题/状态

Resque的Ruby版本有一个很酷的功能,可以更新工作进程的进程标题以指示工作进程正在做什么,并且任何分叉的子进程也会设置它们的进程标题,以显示正在运行的作业。这有助于识别服务器上运行的进程及其Resque状态。

PHP默认情况下没有此功能,直到5.5。

存在一个PECL模块(http://pecl.php.net/package/proctitle),它将此功能添加到5.5之前的PHP中,因此如果您想更新进程标题,请安装该PECL模块。php-resque将自动检测并使用它。

事件/钩子系统

php-resque有一个基本的事件系统,您的应用程序可以使用它来自定义一些php-resque内部的行为。

您可以通过使用Resque_Event注册并提供一个在事件引发时希望触发的回调来监听事件(如下所示)

Resque_Event::listen('eventName', [callback]);

[回调]可以是PHP中任何可以通过call_user_func_array调用的东西

  • 一个包含函数名称的字符串
  • 包含对象和要调用的方法的数组
  • 包含对象和要调用的静态方法的数组
  • 闭包(PHP 5.3+)

事件可以传递参数(以下文档说明),因此你的回调函数应该接受这些参数。

您可以通过调用 Resque_Event::stopListening 并传入与 Resque_Event::listen 相同的参数来停止监听事件。

注册事件监听器是您应用程序的责任。当在您的应用程序中入队事件时,应确保加载 php-resque 并调用 Resque_Event::listen

当运行工作进程时,如果您通过默认的 bin/resque 脚本运行工作进程,则您的 APP_INCLUDE 脚本应初始化并注册操作所需的任何监听器。如果您有自己的工作进程管理器,那么注册监听器的责任再次落在您身上。

示例插件包含在 extras 目录中。

事件

beforeFirstFork

在工作者初始化时调用一次。传入的参数是刚刚初始化的 Resque_Worker 实例。

beforeFork

在 php-resque 分叉以运行作业之前调用。传入的参数包含即将运行的作业的 Resque_Job 实例。

beforeFork父进程 中触发。所做的任何更改都将永久保留,直到 工作者 存活。

afterFork

在 php-resque 分叉以运行作业(但在运行作业之前)后调用。传入的参数包含即将运行的作业的 Resque_Job 实例。

afterFork 在分叉出 子进程 完成作业后触发。所做的任何更改都只会保留在 作业 处理期间。

beforePerform

在运行作业的 setUpperform 方法之前调用。传入的参数包含即将运行的作业的 Resque_Job 实例。

您可以通过抛出 Resque_Job_DontPerform 异常来阻止作业的执行。抛出的任何其他异常都将被视为在作业中抛出,导致作业失败。

afterPerform

在运行作业的 performtearDown 方法之后调用。传入的参数包含刚刚运行的作业的 Resque_Job 实例。

抛出的任何异常都将被视为在作业中抛出,导致作业被标记为失败。

onFailure

每当作业失败时调用。传入的参数(按此顺序)包括

  • 异常 - 作业失败时抛出的异常
  • Resque_Job - 失败的作业

beforeEnqueue

在用 Resque::enqueue 方法将作业入队之前立即调用。传入的参数(按此顺序)包括

  • 类 - 要入队的作业的名称的字符串
  • 作业的参数数组
  • 队列 - 要入队的作业的队列名称的字符串
  • ID - 要入队的作业的标记的字符串

您可以通过抛出 Resque_Job_DontCreate 异常来阻止作业的入队。

afterEnqueue

在用 Resque::enqueue 方法将作业入队之后调用。传入的参数(按此顺序)包括

  • 类 - 调度的作业的名称的字符串
  • 提供给作业的参数数组
  • 队列 - 作业被添加到的队列名称的字符串
  • ID - 入队作业的新标记的字符串

逐步操作

要深入了解 php-resque 在幕后做什么(无需直接查看代码),请参阅 HOWITWORKS.md