ryanwkell/php-resque-turnkey

基于 Redis 的库,用于创建后台任务并在以后处理它们。基于 Ruby 的 resque。从 Chris Boulton 分支而来。

2.0 2017-12-21 01:14 UTC

This package is not auto-updated.

Last update: 2024-09-21 02:48:33 UTC


README

Resque 是一个基于 Redis 的库,用于创建后台任务,将任务放入多个队列,并在以后处理。

背景

Resque 由 GitHub 的高人(是的,我是个马屁精)开创并开发,是用 Ruby 编写的。你在这里看到的是 Resque 工作者和入队系统直接移植到 PHP 的几乎直接版本。

有关 Resque 的更多信息,请访问官方 GitHub 项目:http://github.com/defunkt/resque/

有关更多信息,请参阅 GitHub 博客上的启动帖子:http://github.com/blog/542-introducing-resque

PHP 版本不包括自己的用于查看队列状态的 Web 界面,因为数据存储的格式与 Resque 的 Ruby 版本完全相同。

PHP 版本提供了与 Ruby 版本几乎相同的特性

  • 工作进程可以在多台机器之间分布式
  • 包括对优先级(队列)的支持
  • 对内存泄漏具有弹性(分叉)
  • 期望失败

它还支持以下附加特性

  • 能够跟踪作业状态
  • 如果运行作业的分叉子进程以状态码不为 0 的状态退出,则将作业标记为失败
  • 内置对 setUptearDown 方法的支持,分别在作业前后调用

要求

  • PHP 5.2+
  • Redis 2.2+

作业

排队作业

作业按以下方式排队

require_once 'lib/Resque.php';

// Required if redis is located elsewhere
Resque::setBackend('localhost:6379');

$args = array(
	'name' => 'Chris'
);
Resque::enqueue('default', 'My_Job', $args);

定义作业

每个作业应在其自己的类中,并包含一个 perform 方法。

class My_Job
{
	public function perform()
	{
		// Work work work
		echo $this->args['name'];
	}
}

当作业运行时,将实例化该类,并将任何参数设置为一个数组,并可以通过 $this->args 访问。

任何由作业抛出的异常都会导致作业失败 - 在这里要小心,并确保您处理了不应导致作业失败的异常。

作业也可以有 setUptearDown 方法。如果定义了 setUp 方法,则将在运行 perform 方法之前调用它。如果定义了 tearDown 方法,则将在作业完成后调用。

class My_Job
{
	public function setUp()
	{
		// ... Set up environment for this job
	}
	
	public function perform()
	{
		// .. Run job
	}
	
	public function tearDown()
	{
		// ... Remove environment for this job
	}
}

跟踪作业状态

php-resque 能够执行排队作业的基本状态跟踪。状态信息将允许您检查作业是否在队列中,目前正在运行,已完成或失败。

要跟踪作业状态,将 true 作为 Resque::enqueue 的第四个参数传递。将返回用于跟踪作业状态的令牌

$token = Resque::enqueue('default', 'My_Job', $args, true);
echo $token;

要获取作业状态

$status = new Resque_Job_Status($token);
echo $status->get(); // Outputs the status

作业状态是在 Resque_Job_Status 类中定义的常量。有效的状态包括

  • Resque_Job_Status::STATUS_WAITING - 作业仍在队列中
  • Resque_Job_Status::STATUS_RUNNING - 作业正在运行
  • Resque_Job_Status::STATUS_FAILED - 作业已失败
  • Resque_Job_Status::STATUS_COMPLETE - 作业已完成
  • false - 获取状态失败 - 令牌有效吗?

任务完成后或失败后,状态可保留至24小时,之后将自动过期。也可以通过在状态类上调用stop()方法强制使状态过期。

工作者

工作者的工作方式与Ruby工作者完全相同。有关工作者的完整文档,请参阅原始文档。

在根目录中包含了一个基本的“启动并运行”的resque.php文件,用于设置运行工作者环境。

与Ruby版本的resque相似之处在于,工作者的初始设置。为了在所有环境下工作,而不像Ruby那样有一个单一的环境,PHP端口对您的设置不做出任何假设。

要启动一个工作者,它与Ruby版本非常相似

$ QUEUE=file_serve php resque.php

您需要负责告诉工作者包含哪个文件以开始您的应用程序。您可以通过设置APP_INCLUDE环境变量来实现这一点

$ QUEUE=file_serve APP_INCLUDE=../application/init.php php resque.php

启动应用程序还包括通过自动加载器或包含它们的方式告诉工作者您的作业类。

日志记录

该端口支持与日志到STDOUT相同的环境变量。设置VERBOSE将打印基本的调试信息,而VVERBOSE将打印详细的信息。

$ VERBOSE QUEUE=file_serve php resque.php
$ VVERBOSE QUEUE=file_serve php resque.php

优先级和队列列表

同样,优先级和队列列表的功能与Ruby工作者完全相同。多个队列应以逗号分隔,它们被提供的顺序是它们被检查的顺序。

按照原始示例

$ QUEUE=file_serve,warm_cache php resque.php

file_serve队列将在检查warm_cache队列之前,在每个迭代中始终检查新的作业。

运行所有队列

所有队列均以相同的方式支持,并以字母顺序处理

$ QUEUE=* php resque.php

运行多个工作者

可以通过提供COUNT环境变量来启动多个工作者,并自动处理它们

$ COUNT=5 php resque.php

分叉

类似于Ruby版本,支持的平台在获取作业后会立即进行分叉。分叉的子进程在作业完成后将退出。

与php-resque的不同之处在于,如果分叉的子进程没有优雅地退出(PHP错误等),php-resque将自动失败该作业。

信号

在支持的平台上,信号的工作方式与Ruby版本的Resque完全相同

  • QUIT - 等待子进程完成处理然后退出
  • TERM / INT - 立即杀死子进程然后退出
  • USR1 - 立即杀死子进程但不要退出
  • USR2 - 暂停工作者,不会处理任何新作业
  • CONT - 继续工作者。

进程标题/状态

Resque的Ruby版本有一个很酷的功能,即工作者的进程标题会更新以指示工作者正在做什么,并且任何分叉的子进程也会设置其进程标题,包括正在运行的作业。这有助于识别服务器上的运行进程及其resque状态。

PHP默认情况下没有这项功能。

存在一个PECL模块(http://pecl.php.net/package/proctitle),它向PHP添加了此功能。因此,如果您想更新进程标题,请安装该PECL模块。php-resque将检测并使用它。

事件/钩子系统

php-resque有一个基本的事件系统,可以由您的应用程序用来自定义一些php-resque内部行为。

您可以通过注册到Resque_Event并提供一个回调来监听事件(如下所示),当事件被触发时将触发该回调

Resque_Event::listen('eventName', [callback]);

[回调]可以是PHP中可以通过call_user_func_array调用的任何东西

  • 一个包含函数名的字符串
  • 包含一个对象和要调用的方法的数组
  • 包含一个对象和要调用的静态方法的数组
  • 闭包(PHP 5.3)

事件可能会传递参数(如下文所述),因此你的回调函数应接受这些参数。

您可以通过调用 Resque_Event::stopListening 并传递与 Resque_Event::listen 中相同的参数来停止监听事件。

注册事件监听器是您的应用程序的责任。在您的应用程序中入队事件时,只需确保已加载 php-resque 并调用 Resque_Event::listen 即可。

在运行工作进程时,如果您通过默认的 resque.php 脚本运行工作进程,则您的 APP_INCLUDE 脚本应初始化并注册任何必需的监听器。如果您已经自己实现了工作进程管理器,那么注册监听器的责任再次落在您的身上。

示例插件包含在 extras 目录中。

事件

beforeFirstFork

作为工作进程初始化时调用一次。传递的参数是刚刚初始化的 Resque_Worker 实例。

beforeFork

在 php-resque 分叉以运行作业之前调用。传递的参数包含即将运行的作业的 Resque_Job 实例。

beforeFork父进程 中触发。所做的任何更改都将对工作进程的生命周期保持永久。

afterFork

在 php-resque 分叉以运行作业(但在作业运行之前)调用。传递的参数包含即将运行的作业的 Resque_Job 实例。

afterFork 在分叉到完成作业的子进程后触发。所做的任何更改将只存在于作业处理期间。

beforePerform

在运行作业上的 setUpperform 方法之前调用。传递的参数包含即将运行的作业的 Resque_Job 实例。

您可以通过抛出 Resque_Job_DontPerform 异常来防止执行作业。抛出的任何其他异常都将被视为在作业中抛出,导致作业失败。

afterPerform

在运行作业上的 performtearDown 方法之后调用。传递的参数包含刚刚运行的 Resque_Job 实例。

抛出的任何异常都将被视为在作业中抛出,导致作业被标记为失败。

onFailure

每当作业失败时调用。传递的参数(按此顺序)包括

  • 异常 - 作业失败时抛出的异常
  • Resque_Job - 失败的作业

afterEnqueue

使用 Resque::enqueue 方法将作业入队后调用。传递的参数(按此顺序)包括

  • 类 - 包含预定作业名称的字符串
  • 参数 - 传递给作业的参数数组
  • 队列 - 包含作业添加到的队列名称的字符串

贡献者

  • chrisboulton
  • thedotedge
  • hobodave
  • scraton
  • KevBurnsJr
  • jmathai
  • dceballos
  • patrickbajao
  • andrewjshults
  • warezthebeef
  • d11wtq
  • hlegius
  • salimane
  • humancopy
  • pedroarnal
  • chaitanyakuber
  • maetl
  • Matt Heath
  • jjfrey
  • scragg0x