ryanwkell/php-resque-redisfix

基于Redis的库,用于创建后台任务并在稍后处理它们。基于Ruby的resque。由Chris Boulton发起

2.0 2017-12-21 01:14 UTC

This package is not auto-updated.

Last update: 2024-09-29 06:02:26 UTC


README

Resque是一个基于Redis的库,用于创建后台任务,将这些任务放入多个队列,并在稍后处理它们。

背景

Resque由GitHub(是的,我是拍马屁的人)的杰出人士发起和开发,用Ruby编写。你在这里看到的是Resque工作机和入队系统几乎直接移植到PHP。

有关Resque的更多信息,请访问官方GitHub项目:http://github.com/defunkt/resque/

有关更多信息,请参阅GitHub博客上的启动帖子:http://github.com/blog/542-introducing-resque

PHP端口不包含自己的Web界面以查看队列统计信息,因为数据存储的格式与Resque的Ruby版本完全相同。

PHP端口提供了与Ruby版本几乎相同的功能

  • 工作机可以在多台机器之间分配
  • 包括对优先级(队列)的支持
  • 具有内存泄漏恢复能力(分叉)
  • 预期失败

它还支持以下附加功能

  • 具有跟踪任务状态的能力
  • 如果分叉子进程运行任务没有以状态码0退出,则会将任务标记为失败
  • 具有内置对setUptearDown方法的支持,这些方法在作业前后调用

要求

  • PHP 5.2+
  • Redis 2.2+

任务

排队任务

任务按以下方式排队

require_once 'lib/Resque.php';

// Required if redis is located elsewhere
Resque::setBackend('localhost:6379');

$args = array(
	'name' => 'Chris'
);
Resque::enqueue('default', 'My_Job', $args);

定义任务

每个任务应在其自己的类中,并包含一个perform方法。

class My_Job
{
	public function perform()
	{
		// Work work work
		echo $this->args['name'];
	}
}

当任务运行时,类将被实例化,任何参数都将作为数组设置在实例化的对象上,并通过$this->args访问。

任务抛出的任何异常都将导致任务失败 - 请小心这里,并确保您处理了不应导致任务失败的异常。

任务还可以有setUptearDown方法。如果定义了setUp方法,它将在perform方法运行之前被调用。如果定义了tearDown方法,则将在作业完成后被调用。

class My_Job
{
	public function setUp()
	{
		// ... Set up environment for this job
	}
	
	public function perform()
	{
		// .. Run job
	}
	
	public function tearDown()
	{
		// ... Remove environment for this job
	}
}

跟踪任务状态

php-resque能够执行排队任务的基本状态跟踪。状态信息将允许您检查任务是否在队列中、正在运行、已完成或失败。

要跟踪任务状态,请将true作为Resque::enqueue的第四个参数传递。将返回用于跟踪任务状态的标记

$token = Resque::enqueue('default', 'My_Job', $args, true);
echo $token;

要获取任务状态

$status = new Resque_Job_Status($token);
echo $status->get(); // Outputs the status

任务状态由Resque_Job_Status类中的常量定义。有效状态包括

  • Resque_Job_Status::STATUS_WAITING - 任务仍在队列中
  • Resque_Job_Status::STATUS_RUNNING - 任务目前正在运行
  • Resque_Job_Status::STATUS_FAILED - 任务已失败
  • Resque_Job_Status::STATUS_COMPLETE - 任务已完成
  • false - 无法获取状态 - 标记是否有效?

任务完成后或失败后,状态信息最多保留24小时,之后将自动过期。也可以通过在状态类上调用stop()方法强制使状态过期。

工作者

工作者以与Ruby工作者完全相同的方式工作。关于工作者的完整文档,请参阅原始文档。

在根目录中包含了一个基本的“启动并运行”的resque.php文件,它设置了一个运行的工作者环境。

与Ruby版本resque的相似之处有一个例外,那就是工作者的初始设置方式。为了在所有环境中工作,而不是像Ruby那样有一个单一的环境,PHP端口对您的设置没有任何假设。

启动工作者时,与Ruby版本非常相似

$ QUEUE=file_serve php resque.php

您的责任是告诉工作者包含哪个文件以开始应用程序。您可以通过设置APP_INCLUDE环境变量来实现

$ QUEUE=file_serve APP_INCLUDE=../application/init.php php resque.php

启动应用程序还包括告诉工作者您的作业类,通过自动加载器或包含它们的方式。

日志记录

端口支持与日志记录到STDOUT相同的环境变量。设置VERBOSE将打印基本调试信息,而VVERBOSE将打印详细信息。

$ VERBOSE QUEUE=file_serve php resque.php
$ VVERBOSE QUEUE=file_serve php resque.php

优先级和队列列表

同样,优先级和队列列表的功能与Ruby工作者完全相同。多个队列应以逗号分隔,它们被提供的顺序就是它们被检查的顺序。

根据原始示例

$ QUEUE=file_serve,warm_cache php resque.php

在检查warm_cache队列之前,将始终在每个迭代中检查file_serve队列上的新作业。

运行所有队列

所有队列都以相同的方式支持并按字母顺序处理

$ QUEUE=* php resque.php

运行多个工作者

可以通过提供COUNT环境变量来启动多个工作者并自动工作

$ COUNT=5 php resque.php

分叉

与Ruby版本类似,支持的平台在获取作业后立即分叉。分叉的子进程将在作业完成后立即退出。

与php-resque的区别在于,如果分叉的子进程没有优雅地退出(PHP错误等),php-resque将自动失败作业。

信号

信号在支持的平台上与Ruby版本的Resque完全相同

  • QUIT - 等待子进程完成处理然后退出
  • TERM / INT - 立即杀死子进程然后退出
  • USR1 - 立即杀死子进程但不退出
  • USR2 - 暂停工作者,不会处理新的作业
  • CONT - 恢复工作者。

进程标题/状态

Resque的Ruby版本有一个很酷的特性,即工作者的进程标题会更新以指示工作者正在做什么,任何分叉的子进程也会设置它们的进程标题以运行作业。这有助于识别服务器上正在运行的过程及其resque状态。

PHP默认没有这个功能。

存在一个PECL模块(http://pecl.php.net/package/proctitle),它为PHP添加了这个功能。因此,如果您想更新进程标题,还需要安装这个PECL模块。php-resque将检测并使用它。

事件/钩子系统

php-resque有一个基本的事件系统,您的应用程序可以使用它来自定义一些php-resque内部的行为。

您可以通过注册Resque_Event并提供一个当事件被触发时希望触发的回调来监听事件(如下所示)

Resque_Event::listen('eventName', [callback]);

[回调]可以是PHP中任何可以通过call_user_func_array调用的内容

  • 一个包含函数名的字符串
  • 包含对象和要调用的方法的数组
  • 包含对象和要调用的静态方法的数组
  • 闭包(PHP 5.3)

事件可以传递参数(如下所示),因此您的回调应该接受这些参数。

您可以通过调用与Resque_Event::listen相同的参数的Resque_Event::stopListening来停止监听事件。

注册事件监听器是您的应用程序的责任。当在应用程序中入队事件时,应该像确保php-resque已加载并调用Resque_Event::listen一样简单。

在运行工作进程时,如果您通过默认的resque.php脚本来运行工作进程,您的APP_INCLUDE脚本应该初始化并注册任何操作所需的监听器。如果您已经自己实现了工作进程管理器,那么注册监听器的责任也在于您。

extras目录中包含了一个示例插件。

事件

beforeFirstFork

在工作进程初始化时被调用一次。传入的参数是刚刚初始化的Resque_Worker实例。

beforeFork

在php-resque分叉以运行作业之前被调用。传入的参数包含即将运行的作业的Resque_Job实例。

beforeFork在父进程中触发。所做的任何更改将永久生效,直到工作进程的生命周期结束。

afterFork

在php-resque分叉以运行作业(但在作业运行之前)被调用。传入的参数包含即将运行的作业的Resque_Job实例。

afterFork在分叉到子进程后触发,以完成作业。所做的任何更改将仅在作业处理期间生效。

beforePerform

在运行作业上的setUpperform方法之前被调用。传入的参数包含即将运行的作业的Resque_Job实例。

您可以通过抛出Resque_Job_DontPerform异常来防止作业的执行。抛出的任何其他异常将被视为在作业中抛出,导致作业失败。

afterPerform

在运行作业上的performtearDown方法之后被调用。传入的参数包含刚刚运行的Resque_Job实例。

抛出的任何异常将被视为在作业中抛出,导致作业被标记为失败。

onFailure

每当作业失败时被调用。传入的参数(按此顺序)包括:

  • Exception - 作业失败时抛出的异常
  • Resque_Job - 失败的作业

afterEnqueue

在通过Resque::enqueue方法将作业入队后调用。传入的参数(按此顺序)包括:

  • Class - 包含预定作业名称的字符串
  • Arguments - 作业提供的参数数组
  • Queue - 包含作业添加到的队列名称的字符串

贡献者

  • chrisboulton
  • thedotedge
  • hobodave
  • scraton
  • KevBurnsJr
  • jmathai
  • dceballos
  • patrickbajao
  • andrewjshults
  • warezthebeef
  • d11wtq
  • hlegius
  • salimane
  • humancopy
  • pedroarnal
  • chaitanyakuber
  • maetl
  • Matt Heath
  • jjfrey
  • scragg0x