constantable / rabbitmq-bundle

此包已被废弃且不再维护。作者建议使用 php-amqplib/rabbitmq-bundle 包。

将 php-amqplib 与 Symfony 及 RabbitMq 集成。之前为 php-amqplib/rabbitmq-bundle,oldsound/rabbitmq-bundle。

安装: 46

依赖: 0

建议者: 0

安全性: 0

星标: 0

关注者: 0

分支: 469

类型:symfony-bundle


README

RabbitMqBundle

Latest Version Build Status Scrutinizer Code Quality Code Coverage PHPStan

关于

RabbitMqBundle 通过使用 RabbitMQphp-amqplib 库在您的应用程序中集成消息。

此包实现了在 Thumper 库中看到的一些消息模式。因此,从 Symfony 控制器向 RabbitMQ 发布消息就像这样简单

$msg = array('user_id' => 1235, 'image_path' => '/path/to/new/pic.png');
$this->get('old_sound_rabbit_mq.upload_picture_producer')->publish(serialize($msg));

稍后,当您想从 upload_pictures 队列中消费 50 条消息时,只需在 CLI 上运行

$ ./app/console rabbitmq:consumer -m 50 upload_picture

所有示例均假定 RabbitMQ 服务器正在运行。

此包在 Symfony Live Paris 2011 会议中展出。请参阅幻灯片 此处

版本 2

由于 Symfony >=4.4 导致的破坏性更改,发布了新标签,使该包与 Symfony >=4.4 兼容。此外,它消除了由 Symfony 4.3 中的 symfony 事件调度器引起的许多通知。

安装

对于 Symfony 框架 >= 4.3

使用 composer 安装包及其依赖项

$ composer require emag-tech-labs/rabbitmq-bundle

注册包

// app/AppKernel.php

public function registerBundles()
{
    $bundles = array(
        new OldSound\RabbitMqBundle\OldSoundRabbitMqBundle(),
    );
}

享受!

对于使用 Symfony Console、依赖注入和配置组件的控制台应用程序

如果您有一个用于运行 RabbitMQ 消费者的控制台应用程序,则不需要 Symfony HttpKernel 和 FrameworkBundle。从版本 1.6 开始,您可以使用依赖注入组件加载此包配置和服务,然后使用消费者命令。

在您的 composer.json 文件中添加包依赖项

{
    "require": {
        "emag-tech-labs/rabbitmq-bundle": "^2.0",
    }
}

注册扩展和编译器传递

use OldSound\RabbitMqBundle\DependencyInjection\OldSoundRabbitMqExtension;
use OldSound\RabbitMqBundle\DependencyInjection\Compiler\RegisterPartsPass;

// ...

$containerBuilder->registerExtension(new OldSoundRabbitMqExtension());
$containerBuilder->addCompilerPass(new RegisterPartsPass());

警告 - BC 破坏性更改

  • 自 2012-06-04 以来,某些在 "producers" 配置部分声明的交换机的默认选项已更改,以匹配 "consumers" 部分中声明的交换机的默认值。受影响的设置是

    • durablefalse 更改为 true,
    • auto_deletetrue 更改为 false

    如果您依赖于以前的默认值,则必须更新您的配置。

  • 自 2012-04-24 以来,ConsumerInterface::execute 方法的签名已更改

  • 自 2012-01-03 以来,消费者执行方法获取整个 AMQP 消息对象,而不仅仅是正文。有关更多详细信息,请参阅 CHANGELOG 文件。

用法

在您的配置文件中添加 old_sound_rabbit_mq 部分

old_sound_rabbit_mq:
    connections:
        default:
            host:     'localhost'
            port:     5672
            user:     'guest'
            password: 'guest'
            vhost:    '/'
            lazy:     false
            connection_timeout: 3
            read_write_timeout: 3

            # requires php-amqplib v2.4.1+ and PHP5.4+
            keepalive: false

            # requires php-amqplib v2.4.1+
            heartbeat: 0

            #requires php_sockets.dll
            use_socket: true # default false
        another:
            # A different (unused) connection defined by an URL. One can omit all parts,
            # except the scheme (amqp:). If both segment in the URL and a key value (see above)
            # are given the value from the URL takes precedence.
            # See https://rabbitmq.cn/uri-spec.html on how to encode values.
            url: 'amqp://guest:password@localhost:5672/vhost?lazy=1&connection_timeout=6'
    producers:
        upload_picture:
            connection:       default
            exchange_options: {name: 'upload-picture', type: direct}
            service_alias:    my_app_service # no alias by default
    consumers:
        upload_picture:
            connection:       default
            exchange_options: {name: 'upload-picture', type: direct}
            queue_options:    {name: 'upload-picture'}
            callback:         upload_picture_service

在此处,我们配置连接服务和应用程序将具有的消息端点。在此示例中,您的服务容器将包含服务 old_sound_rabbit_mq.upload_picture_producerold_sound_rabbit_mq.upload_picture_consumer。后者期望存在名为 upload_picture_service 的服务。

如果您没有指定客户端的连接,客户端将寻找具有相同别名的连接。因此,对于我们的 upload_picture,服务容器将寻找一个名为 upload_picture 的连接。

如果您需要添加可选的队列参数,则您的队列选项可以像这样

queue_options: {name: 'upload-picture', arguments: {'x-ha-policy': ['S', 'all']}}

另一个示例,消息TTL为20秒

queue_options: {name: 'upload-picture', arguments: {'x-message-ttl': ['I', 20000]}}

参数值必须是数据类型和值的列表。有效的数据类型有

  • S - 字符串
  • I - 整数
  • D - 小数
  • T - 时间戳
  • F - 表格
  • A - 数组

根据您的需求调整arguments

如果您想将队列与特定的路由键绑定,您可以在生产者或消费者配置中声明它

queue_options:
    name: "upload-picture"
    routing_keys:
      - 'android.#.upload'
      - 'iphone.upload'

重要提示 - 懒连接

在Symfony环境中,所有服务在每次请求时都会完全启动,从版本 >= 4.3开始,您可以将服务声明为懒加载(懒加载服务)。此包目前还不支持新的懒加载服务功能,但您可以在连接配置中设置lazy: true以避免在每个请求中对消息代理进行不必要的连接。由于性能原因,强烈推荐使用懒连接,尽管懒选项默认禁用,以避免可能破坏已使用此包的应用程序。

重要提示 - 心跳

read_write_timeout设置为心跳的两倍,这样您的套接字就会保持打开。如果您不这样做或使用不同的乘数,消费者套接字可能会超时。

动态连接参数

有时您的连接信息可能需要是动态的。动态连接参数允许您通过服务以编程方式提供或覆盖参数。

例如,在一个场景中,连接的vhost参数取决于您的白标应用程序的当前租户,并且您不想(或不能)每次都更改其配置。

connection_parameters_provider下定义一个实现ConnectionParametersProviderInterface的服务,并将其添加到适当的connections配置中。

connections:
    default:
        host:     'localhost'
        port:     5672
        user:     'guest'
        password: 'guest'
        vhost:    'foo' # to be dynamically overridden by `connection_parameters_provider`
        connection_parameters_provider: connection_parameters_provider_service

示例实现

class ConnectionParametersProviderService implements ConnectionParametersProvider {
    ...
    public function getConnectionParameters() {
        return array('vhost' => $this->getVhost());
    }
    ...
}

在这种情况下,vhost参数将由getVhost()的输出覆盖。

生产者、消费者、什么?

在消息传递应用程序中,向代理发送消息的过程称为生产者,而接收这些消息的过程称为消费者。在您的应用程序中,您将拥有多个它们,可以在配置中的相应条目下列出。

生产者

生产者将用于向服务器发送消息。在AMQP模型中,消息被发送到交换机,这意味着在生产者的配置中,您必须指定连接选项以及交换机选项,这通常将是交换机的名称和类型。

现在假设您想要在后台处理图片上传。在将图片移动到最终位置后,您将向服务器发布以下信息

public function indexAction($name)
{
    $msg = array('user_id' => 1235, 'image_path' => '/path/to/new/pic.png');
    $this->get('old_sound_rabbit_mq.upload_picture_producer')->publish(serialize($msg));
}

如您所见,如果在您的配置中有一个名为upload_picture的生产者,那么在服务容器中将有名为old_sound_rabbit_mq.upload_picture_producer的服务。

除了消息本身之外,OldSound\RabbitMqBundle\RabbitMq\Producer#publish()方法还接受一个可选的路由键参数和一个可选的附加属性数组。附加属性数组允许您更改默认情况下PhpAmqpLib\Message\AMQPMessage对象所具有的属性。这样,例如,您可以更改应用程序头。

您可以使用setContentTypesetDeliveryMode方法分别设置消息内容类型和消息传递模式。默认值是内容类型为text/plain,传递模式为2

$this->get('old_sound_rabbit_mq.upload_picture_producer')->setContentType('application/json');

如果您需要为生产者使用自定义类(应该继承自 OldSound\RabbitMqBundle\RabbitMq\Producer),可以使用 class 选项。

    ...
    producers:
        upload_picture:
            class: My\Custom\Producer
            connection: default
            exchange_options: {name: 'upload-picture', type: direct}
    ...

拼图的下一部分是拥有一个消费者,它会从队列中取出消息并相应地处理。

消费者

消费者将连接到服务器并启动一个 循环,等待要处理的消息。根据指定给此类消费者的 回调,它将表现出相应的行为。让我们回顾一下上面的消费者配置

consumers:
    upload_picture:
        connection:       default
        exchange_options: {name: 'upload-picture', type: direct}
        queue_options:    {name: 'upload-picture'}
        callback:         upload_picture_service

正如我们所见,回调 选项引用了 upload_picture_service。当消费者从服务器接收到消息时,它将执行此回调。如果您出于测试或调试目的需要指定不同的回调,则可以在此处更改它。

除了回调之外,我们还指定了要使用的连接方式,这与使用 生产者 的方式相同。其余选项是 exchange_optionsqueue_optionsexchange_options 应该与用于 生产者 的相同。在 queue_options 中,我们将提供 队列名称。为什么?

正如我们所言,AMQP 中的消息是发布到 交换器 的。这并不意味着消息已经到达 队列。为了实现这一点,我们首先需要创建这样的 队列,然后将其绑定到 交换器。酷的地方在于,您可以绑定多个 队列 到一个 交换器,这样一条消息可以到达多个目的地。这种方法的优点是实现了生产者和消费者的 解耦。生产者不关心有多少消费者将处理他的消息。他只需要确保他的消息到达服务器。这样,我们可以在不需要更改控制器中的代码的情况下,扩展每次上传图片时执行的操作。

现在,如何运行消费者?有一个可以执行的命令,如下所示

$ ./app/console rabbitmq:consumer -m 50 upload_picture

这意味着什么?我们正在执行 upload_picture 消费者,并告诉它只消费 50 条消息。每次消费者从服务器接收消息时,它将执行配置的回调,并将 AMQP 消息作为 PhpAmqpLib\Message\AMQPMessage 类的实例传递。可以通过调用 $msg->body 来获取消息体。默认情况下,消费者将以 无限循环 的方式处理消息,这里的 无限 是一个定义。

如果您想确保消费者在 Unix 信号发出时立即执行完毕,可以使用带有标志 -w 的命令。

$ ./app/console rabbitmq:consumer -w upload_picture

然后消费者将立即完成执行。

要使用此标志,您需要安装带有 PCNTL 扩展的 PHP

如果您想为消费者设置内存限制,可以使用标志 -l。在下面的示例中,此标志添加了 256 MB 的内存限制。消费者将在达到 256MB 之前停止 5 MB,以避免 PHP 允许的内存大小错误。

$ ./app/console rabbitmq:consumer -l 256

如果您想删除队列中所有等待的消息,可以执行此命令以清空此队列

$ ./app/console rabbitmq:purge --no-confirmation upload_picture

要删除消费者的队列,请使用此命令

$ ./app/console rabbitmq:delete --no-confirmation upload_picture

消费者事件

这可以在许多场景中很有用。有 3 个 AMQPEvents

CONSUME 事件
class OnConsumeEvent extends AMQPEvent
{
    const NAME = AMQPEvent::ON_CONSUME;

    /**
     * OnConsumeEvent constructor.
     *
     * @param Consumer $consumer
     */
    public function __construct(Consumer $consumer)
    {
        $this->setConsumer($consumer);
    }
}

假设您需要在新的应用程序部署时暂停/停止消费者。您可以监听 OnConsumeEvent (\OldSound\RabbitMqBundle\Event\OnConsumeEvent) 并检查新的应用程序部署。

处理消息之前
class BeforeProcessingMessageEvent extends AMQPEvent
{
    const NAME = AMQPEvent::BEFORE_PROCESSING_MESSAGE;

    /**
     * BeforeProcessingMessageEvent constructor.
     *
     * @param AMQPMessage $AMQPMessage
     */
    public function __construct(Consumer $consumer, AMQPMessage $AMQPMessage)
    {
        $this->setConsumer($consumer);
        $this->setAMQPMessage($AMQPMessage);
    }
}

在处理 AMQPMessage 之前引发的事件。

处理消息之后
class AfterProcessingMessageEvent extends AMQPEvent
{
    const NAME = AMQPEvent::AFTER_PROCESSING_MESSAGE;

    /**
     * AfterProcessingMessageEvent constructor.
     *
     * @param AMQPMessage $AMQPMessage
     */
    public function __construct(Consumer $consumer, AMQPMessage $AMQPMessage)
    {
        $this->setConsumer($consumer);
        $this->setAMQPMessage($AMQPMessage);
    }
}

在处理AMQPMessage后引发的事件。如果处理消息会抛出异常,则不会引发事件。

空闲消息
<?php
class OnIdleEvent extends AMQPEvent
{
    const NAME = AMQPEvent::ON_IDLE;

    /**
     * OnIdleEvent constructor.
     *
     * @param AMQPMessage $AMQPMessage
     */
    public function __construct(Consumer $consumer)
    {
        $this->setConsumer($consumer);
        
        $this->forceStop = true;
    }
}

wait方法因超时而没有接收到消息时引发事件。为了使用此事件,消费者必须配置idle_timeout。默认情况下,在空闲超时时退出,您可以在监听器中设置$event->setForceStop(false)以防止它。

空闲超时

如果您需要在一段时间内没有从队列接收到消息时设置超时,可以以秒为单位设置idle_timeoutidle_timeout_exit_code指定在空闲超时时消费者应返回的退出代码。如果没有指定它,消费者将抛出PhpAmqpLib\Exception\AMQPTimeoutException异常。

consumers:
    upload_picture:
        connection:             default
        exchange_options:       {name: 'upload-picture', type: direct}
        queue_options:          {name: 'upload-picture'}
        callback:               upload_picture_service
        idle_timeout:           60
        idle_timeout_exit_code: 0

超时等待

以秒为单位设置timeout_waittimeout_wait指定消费者在确保当前连接仍然有效之前,在没有接收到新消息的情况下将等待多长时间。

consumers:
    upload_picture:
        connection:             default
        exchange_options:       {name: 'upload-picture', type: direct}
        queue_options:          {name: 'upload-picture'}
        callback:               upload_picture_service
        idle_timeout:           60
        idle_timeout_exit_code: 0
        timeout_wait:           10

优雅的最大执行超时

如果您希望消费者运行到一定时间然后优雅退出,请以秒为单位设置graceful_max_execution.timeout。"优雅退出"意味着消费者将在当前运行的任务完成后退出,或者在等待新任务时立即退出。graceful_max_execution.exit_code指定在优雅最大执行超时时消费者应返回的退出代码。如果没有指定它,消费者将以状态0退出。

此功能与supervisord结合使用时非常出色,它们可以一起允许定期清理内存泄漏、与数据库/rabbitmq重新连接等。

consumers:
    upload_picture:
        connection:             default
        exchange_options:       {name: 'upload-picture', type: direct}
        queue_options:          {name: 'upload-picture'}
        callback:               upload_picture_service

        graceful_max_execution:
            timeout: 1800 # 30 minutes 
            exit_code: 10 # default is 0 

公平分发

您可能已经注意到,分发仍然不完全符合我们的期望。例如,在有两个工作者的情况下,当所有奇数消息都较重而偶数消息较轻时,一个工作者将始终忙碌,而另一个工作者几乎不做任何工作。嗯,RabbitMQ对此一无所知,仍然会均匀地分发消息。

这是因为RabbitMQ只是在消息进入队列时分发消息。它不查看消费者未确认的消息数量。它只是盲目地将每n条消息分发给第n个消费者。

为了克服这一点,我们可以使用带有prefetch_count=1设置的basic.qos方法。这告诉RabbitMQ一次不要给工作者超过一条消息。或者换句话说,在工作者处理并确认之前的消息之前,不要向工作者分发新消息。相反,它将将其分发给下一个不忙碌的工作者。

来源:https://rabbitmq.cn/tutorials/tutorial-two-python.html

请注意,实现公平分发会引入延迟,这将损害性能(请参阅这篇博文)。但是,实现它允许您随着队列的增长动态地水平扩展。您应该评估,正如博文建议的那样,根据处理每条消息所需的时间和您的网络性能来相应地设置prefetch_size的值。

使用RabbitMqBundle,您可以像这样为每个消费者配置qos_options

consumers:
    upload_picture:
        connection:       default
        exchange_options: {name: 'upload-picture', type: direct}
        queue_options:    {name: 'upload-picture'}
        callback:         upload_picture_service
        qos_options:      {prefetch_size: 0, prefetch_count: 1, global: false}

回调

以下是一个示例回调

<?php

//src/Acme/DemoBundle/Consumer/UploadPictureConsumer.php

namespace Acme\DemoBundle\Consumer;

use OldSound\RabbitMqBundle\RabbitMq\ConsumerInterface;
use PhpAmqpLib\Message\AMQPMessage;

class UploadPictureConsumer implements ConsumerInterface
{
    public function execute(AMQPMessage $msg)
    {
        //Process picture upload.
        //$msg will be an instance of `PhpAmqpLib\Message\AMQPMessage` with the $msg->body being the data sent over RabbitMQ.

        $isUploadSuccess = someUploadPictureMethod();
        if (!$isUploadSuccess) {
            // If your image upload failed due to a temporary error you can return false
            // from your callback so the message will be rejected by the consumer and
            // requeued by RabbitMQ.
            // Any other value not equal to false will acknowledge the message and remove it
            // from the queue
            return false;
        }
    }
}

如您所见,这就像实现一个方法:ConsumerInterface::execute一样简单。

请注意,您的回调必须注册为常规Symfony服务。在那里,您可以注入服务容器、数据库服务、Symfony记录器等。

有关消息实例的更多详细信息,请参阅https://github.com/php-amqplib/php-amqplib/blob/master/doc/AMQPMessage.md

总结

发送消息似乎需要做很多工作,让我们回顾一下,以便更好地了解情况。这是我们需要生成/消费消息的内容:

  • 在配置中为消费者/生产者添加条目。
  • 实现回调函数。
  • 从命令行启动消费者。
  • 在控制器中添加发布消息的代码。

这就完成了!

审计/日志记录

这是追踪收到的/发布的消息的要求。为了启用此功能,您需要在消费者或发布者中添加“enable_logger”配置。

consumers:
    upload_picture:
        connection:       default
        exchange_options: {name: 'upload-picture', type: direct}
        queue_options:    {name: 'upload-picture'}
        callback:         upload_picture_service
        enable_logger: true

如果您愿意,您还可以通过引用通道“phpamqplib”使用monolog的不同处理程序来处理队列的日志。

RPC或回复/响应

到目前为止,我们只是向消费者发送消息,但如果我们想从他们那里得到回复呢?为了实现这一点,我们必须在我们的应用程序中实现RPC调用。这个包使得使用Symfony实现此类事情变得非常简单。

让我们在配置中添加一个RPC客户端和服务器。

rpc_clients:
    integer_store:
        connection: default #default: default
        unserializer: json_decode #default: unserialize
        lazy: true #default: false
        direct_reply_to: false
rpc_servers:
    random_int:
        connection: default
        callback:   random_int_server
        qos_options: {prefetch_size: 0, prefetch_count: 1, global: false}
        exchange_options: {name: random_int, type: topic}
        queue_options: {name: random_int_queue, durable: false, auto_delete: true}
        serializer: json_encode

有关完整配置的参考,请使用php app/console config:dump-reference old_sound_rabbit_mq命令。

这里有一个非常有用的服务器:它向其客户端返回随机整数。用于处理请求的回调将是random_int_server服务。现在让我们看看如何从我们的控制器中调用它。

首先,我们必须从命令行启动服务器

$ ./app/console_dev rabbitmq:rpc-server random_int

然后,将以下代码添加到我们的控制器中

public function indexAction($name)
{
    $client = $this->get('old_sound_rabbit_mq.integer_store_rpc');
    $client->addRequest(serialize(array('min' => 0, 'max' => 10)), 'random_int', 'request_id');
    $replies = $client->getReplies();
}

如您所见,如果我们的客户端ID是integer_store,则服务名称将为old_sound_rabbit_mq.integer_store_rpc。一旦我们得到这个对象,我们通过调用addRequest在服务器上放置一个请求,该请求期望三个参数

  • 要发送到远程过程调用的参数。
  • RPC服务器的名称,在我们的例子中为random_int
  • 我们调用的请求标识符,在这种情况下为request_id

我们发送的参数是用于rand()函数的minmax值。我们通过序列化一个数组发送它们。如果我们的服务器期望JSON信息或XML,我们将在这里发送此类数据。

最后一部分是获取回复。我们的PHP脚本将阻塞,直到服务器返回一个值。变量$replies将是一个关联数组,其中每个来自服务器的回复都将包含在相应的request_id键中。

默认情况下,RPC客户端期望响应被序列化。如果您正在使用的服务器返回非序列化的结果,则将RPC客户端的expect_serialized_response选项设置为false。例如,如果integer_store服务器未序列化结果,则客户端设置如下

rpc_clients:
    integer_store:
        connection: default
        expect_serialized_response: false

您还可以为请求设置过期时间(以秒为单位),在此之后,服务器将不再处理消息,客户端请求将简单地超时。设置消息过期时间仅适用于RabbitMQ 3.x及更高版本。有关更多信息,请参阅https://rabbitmq.cn/ttl.html#per-message-ttl

public function indexAction($name)
{
    $expiration = 5; // seconds
    $client = $this->get('old_sound_rabbit_mq.integer_store_rpc');
    $client->addRequest($body, $server, $requestId, $routingKey, $expiration);
    try {
        $replies = $client->getReplies();
        // process $replies['request_id'];
    } catch (\PhpAmqpLib\Exception\AMQPTimeoutException $e) {
        // handle timeout
    }
}

如你所猜,我们也可以进行并行RPC调用

并行RPC

假设为了渲染一些网页,你需要执行两个数据库查询,一个需要5秒完成,另一个需要2秒——非常昂贵的查询。如果你按顺序执行它们,那么你的页面将大约在7秒后准备好交付。如果你并行运行它们,那么你的页面将在大约5秒内被提供。使用RabbitMqBundle我们可以轻松地执行此类并行调用。让我们在配置中定义一个并行客户端和另一个RPC服务器

rpc_clients:
    parallel:
        connection: default
rpc_servers:
    char_count:
        connection: default
        callback:   char_count_server
    random_int:
        connection: default
        callback:   random_int_server

然后这段代码应该放在我们的控制器中

public function indexAction($name)
{
    $client = $this->get('old_sound_rabbit_mq.parallel_rpc');
    $client->addRequest($name, 'char_count', 'char_count');
    $client->addRequest(serialize(array('min' => 0, 'max' => 10)), 'random_int', 'random_int');
    $replies = $client->getReplies();
}

这与前面的例子非常相似,我们只是多了一个额外的addRequest调用。我们还提供了有意义的请求标识符,这样我们稍后就可以更容易地在$replies数组中找到我们想要的回复。

直接回复客户端

要启用直接回复客户端,您只需在客户端的 rpc_clients 配置中启用选项 direct_reply_to

此选项在执行RPC调用时将使用伪队列 amq.rabbitmq.reply-to。在RPC服务器上无需进行任何修改。

多个消费者

为逻辑分离,拥有大量的队列是一种好的做法。使用简单消费者时,您需要为每个队列创建一个工作器(消费者),当处理许多变化时可能会很困难(忘记在您的supervisord配置中添加一行?)。这对于小型队列也很有用,因为您可能不需要像队列那样多的工作者,并且希望将一些任务重新组合在一起,同时不失灵活性和分离原则。

多个消费者允许您在同一消费者上监听多个队列来处理这种情况。

以下是如何设置具有多个队列的消费者

multiple_consumers:
    upload:
        connection:       default
        exchange_options: {name: 'upload', type: direct}
        queues_provider: queues_provider_service
        queues:
            upload-picture:
                name:     upload_picture
                callback: upload_picture_service
                routing_keys:
                    - picture
            upload-video:
                name:     upload_video
                callback: upload_video_service
                routing_keys:
                    - video
            upload-stats:
                name:     upload_stats
                callback: upload_stats

现在,每个队列下都指定了回调,必须像简单消费者一样实现 ConsumerInterface。消费者中的所有 queues-options 选项都适用于每个队列。

请注意,所有队列都在同一个交换机下,设置正确的回调路由取决于您。

queues_provider 是一个可选的服务,它动态提供队列。它必须实现 QueuesProviderInterface

请注意,队列提供者负责正确调用 setDequeuer 并且回调是可调用的(不是 ConsumerInterface)。如果提供队列的服务实现了 DequeuerAwareInterface,则会在服务的定义中添加对 setDequeuer 的调用,其中 DequeuerInterface 目前是一个 MultipleConsumer

任意绑定

您可能会发现您的应用程序具有复杂的流程,并且您需要具有任意绑定。任意绑定场景可能包括通过 destination_is_exchange 属性进行交换到交换机的绑定。

bindings:
    - {exchange: foo, destination: bar, routing_key: 'baz.*' }
    - {exchange: foo1, destination: foo, routing_key: 'baz.*' destination_is_exchange: true}

rabbitmq:setup-fabric 命令将在创建任意绑定之前,根据您的生产者、消费者和多消费者配置声明交换机和队列。然而,rabbitmq:setup-fabric 不会 声明绑定中定义的附加队列和交换机。确保交换机/队列已声明取决于您。

动态消费者

有时您需要动态地更改消费者的配置。动态消费者允许您根据上下文程序化地定义消费者队列选项。

例如,在必须负责动态数量的主题且不希望(或无法)每次都更改其配置的场景中。

定义一个实现 QueueOptionsProviderInterface 的服务 queue_options_provider,并将其添加到您的 dynamic_consumers 配置中。

dynamic_consumers:
    proc_logs:
        connection: default
        exchange_options: {name: 'logs', type: topic}
        callback: parse_logs_service
        queue_options_provider: queue_options_provider_service

示例用法

$ ./app/console rabbitmq:dynamic-consumer proc_logs server1

在这种情况下,proc_logs 消费者为 server1 运行,并且它可以根据它使用的队列选项做出决定。

匿名消费者

现在,我们为什么会需要匿名消费者?这听起来像是一些互联网威胁或类似的东西...继续阅读。

在AMQP中,有一种名为 topic 的交换机类型,其中消息根据 - 您猜对了 - 消息的主题进行路由。我们可以将有关我们应用程序的日志发送到RabbitMQ主题交换机,使用作为主题的日志创建的hostname和日志的严重性。消息体将是日志内容,我们的路由键将是这样的

  • server1.error
  • server2.info
  • server1.warning
  • ...

由于我们不希望无限地用日志填满队列,所以当我们要监控系统时,我们可以启动一个消费者,创建一个队列,并根据某些主题将其附加到日志交换机,例如,我们想看到我们的服务器报告的所有错误。路由键将类似于:#.error。在这种情况下,我们需要想出一个队列名称,将其绑定到交换机,获取日志,解绑并删除队列。幸运的是,AMPQ提供了一种在声明和绑定队列时提供正确选项来自动完成此操作的方法。问题是您不想记住所有这些选项。因此,我们实现了匿名消费者模式。

当我们启动一个匿名消费者时,它将处理这些细节,我们只需要考虑实现消息到达时的回调。为什么叫匿名呢?因为它不会指定队列名称,但会等待RabbitMQ为其分配一个随机的名称。

那么,如何配置和运行这样的消费者呢?

anon_consumers:
    logs_watcher:
        connection:       default
        exchange_options: {name: 'app-logs', type: topic}
        callback:         logs_watcher

在这里,我们指定交换机名称和其类型,以及当消息到达时应执行回调。

现在,这个匿名消费者可以监听与相同交换机和类型主题相关的生产者。

    producers:
        app_logs:
            connection:       default
            exchange_options: {name: 'app-logs', type: topic}

要启动一个匿名消费者,我们使用以下命令

$ ./app/console_dev rabbitmq:anon-consumer -m 5 -r '#.error' logs_watcher

与之前看到的命令相比,唯一的新选项是指定路由键-r '#.error'

批处理消费者

在某些情况下,您可能希望获取一组消息,然后对所有这些消息进行处理。批处理消费者将允许您为此类处理定义逻辑。

例如:想象一下,您有一个队列,您在其中接收一条消息以在数据库中插入一些信息,您意识到如果进行批量插入,这将比逐个插入要好得多。

定义一个实现BatchConsumerInterface的回调服务,并将消费者定义添加到您的配置中。

batch_consumers:
    batch_basic_consumer:
        connection:       default
        exchange_options: {name: 'batch', type: fanout}
        queue_options:    {name: 'batch'}
        callback:         batch.basic
        qos_options:      {prefetch_size: 0, prefetch_count: 2, global: false}
        timeout_wait:     5
        auto_setup_fabric: false
        idle_timeout_exit_code: -2
        keep_alive: false
        graceful_max_execution:
            timeout: 60

注意:如果将keep_alive选项设置为true,则忽略idle_timeout_exit_code,并且消费者进程将继续。

您可以实现一个批处理消费者,它将在一个返回中确认所有消息,或者您可以控制哪些消息需要确认。

namespace AppBundle\Service;

use OldSound\RabbitMqBundle\RabbitMq\BatchConsumerInterface;
use PhpAmqpLib\Message\AMQPMessage;

class DevckBasicConsumer implements BatchConsumerInterface
{
    /**
     * @inheritDoc
     */
    public function batchExecute(array $messages)
    {
        echo sprintf('Doing batch execution%s', PHP_EOL);
        foreach ($messages as $message) {
            $this->executeSomeLogicPerMessage($message);
        }

        // you ack all messages got in batch
        return true; 
    }
}
namespace AppBundle\Service;

use OldSound\RabbitMqBundle\RabbitMq\BatchConsumerInterface;
use PhpAmqpLib\Message\AMQPMessage;

class DevckBasicConsumer implements BatchConsumerInterface
{
    /**
     * @inheritDoc
     */
    public function batchExecute(array $messages)
    {
        echo sprintf('Doing batch execution%s', PHP_EOL);
        $result = [];
        /** @var AMQPMessage $message */
        foreach ($messages as $message) {
            $result[(int)$message->delivery_info['delivery_tag']] = $this->executeSomeLogicPerMessage($message);
        }

        // you ack only some messages that have return true
        // e.g:
        // $return = [
        //      1 => true,
        //      2 => true,
        //      3 => false,
        //      4 => true,
        //      5 => -1,
        //      6 => 2,
        //  ];
        // The following will happen:
        //  * ack: 1,2,4
        //  * reject and requeq: 3
        //  * nack and requeue: 6
        //  * reject and drop: 5
        return $result;
    }
}

如何运行以下批处理消费者

    $ ./bin/console rabbitmq:batch:consumer batch_basic_consumer -w

重要提示:批处理消费者将没有可用-m|messages选项

STDIN生产者

有一个命令从STDIN读取数据并将其发布到RabbitMQ队列。要使用它,首先您必须在配置文件中配置一个producer服务,如下所示

producers:
    words:
      connection:       default
      exchange_options: {name: 'words', type: direct}

该生产者将消息发布到words直接交换机。当然,您可以根据需要调整配置。

然后,假设您想发布一些XML文件的内容,以便它们被消费者群处理。您可以使用以下命令来发布它们

$ find vendor/symfony/ -name "*.xml" -print0 | xargs -0 cat | ./app/console rabbitmq:stdin-producer words

这意味着您可以使用纯Unix命令组合生产者。

让我们分解这个单行命令

$ find vendor/symfony/ -name "*.xml" -print0

该命令将在symfony文件夹内查找所有.xml文件,并将文件名打印出来。然后,每个文件名都通过xargs传递给cat

$ xargs -0 cat

最后,cat的输出直接发送到我们的生产者,它被调用如下

$ ./app/console rabbitmq:stdin-producer words

它只接受一个参数,即您在config.yml文件中配置的生产者名称。

其他命令

设置RabbitMQ架构

此包的目的是让您的应用程序产生消息并将它们发布到您配置的某些交换机上。

在某些情况下,即使您的配置正确,您产生的消息也不会被路由到任何队列,因为没有队列存在。负责队列消费的消费者必须运行才能创建队列。

当消费者数量较多时,为每个消费者启动命令可能会变得非常痛苦。

为了同时创建交换机、队列和绑定,并确保不会丢失任何消息,您可以运行以下命令

$ ./app/console rabbitmq:setup-fabric

当需要时,您可以配置您的消费者和生产者假设RabbitMQ结构已经定义。为此,请将以下内容添加到您的配置中

producers:
    upload_picture:
      auto_setup_fabric: false
consumers:
    upload_picture:
      auto_setup_fabric: false

默认情况下,消费者或生产者在启动时会向RabbitMQ声明它需要的所有内容。在使用时要小心,如果交换机或队列未定义,则会出现错误。当您更改任何配置时,您需要运行上述setup-fabric命令来声明您的配置。

如何贡献

要贡献,只需提交一个包含您新代码的Pull Request,注意如果您添加了新功能或修改了现有功能,您必须在README中说明它们的功能。如果您破坏了BC,也必须进行说明。此外,您还必须更新CHANGELOG。所以

  • 记录新功能。
  • 更新CHANGELOG。
  • 记录BC破坏性更改。

许可证

见:resources/meta/LICENSE.md

致谢

捆绑结构和文档部分基于RedisBundle