sergo920/laravel-queue-aws-batch

Laravel Queue for AWS Batch,允许用户将作业提交到批处理队列进行处理。

dev-master 2022-08-11 10:50 UTC

This package is auto-updated.

Last update: 2024-09-11 15:13:51 UTC


README

Latest Version on Packagist Software License Build Status Code Coverage

支持版本

安装

请查看上面的表格以获取包版本信息,并相应地更改下面的版本。

将自定义存储库添加到您的 composer.json 文件中

    "require": {
        "dnxlabs/laravel-queue-aws-batch": "~3.0.0"
    },
    "repositories": [
        {
            "type": "vcs",
            "url":  "git@github.com:dnxlabs/laravel-queue-aws-batch.git"
        }
    ]

使用 composer,运行

composer require dnxlabs/laravel-queue-aws-batch ~3.0

使用方法

  1. 您的 Laravel 应用程序需要被 docker 化并推送到您选择的容器注册库。应将 ENTRYPOINT 设置为 artisan

  2. 将新队列添加到 config/queues.php 配置文件的 connections 数组中

    [
        'batch' => [
            'driver' => 'batch',
            'table' => 'jobs',
            'queue' => 'first-run-job-queue',
            'jobDefinition' => 'my-job-definition',
            'expire' => 60,
            'region' => 'us-east-1'
        ]
    ]

此队列传输依赖于能够将其队列作业写入数据库队列。在这个例子中,它将作业写入 jobs 表。您需要使用 artisan queue:table 来创建一个迁移来创建此表。

  1. 创建一个与 queue 配置设置相同的 AWS Batch 作业队列。这是批处理连接器将作业推入批处理的地方。在这种情况下,我的队列名称将是 first-run-job-queue

  2. 为每个定义的队列创建一个 AWS Batch 作业定义,如下所示

{
    "jobDefinitionName": "my-laravel-application",
    "type": "container",
    "parameters": {},
    "retryStrategy": {
        "attempts": 10
    },
    "containerProperties": {
        "image": "<your docker image>",
        "vcpus": 1,
        "memory": 256,
        "command": [
            "queue:work-batch",
            "Ref::jobId",
            "--tries=3"
        ],
        "volumes": [],
        "environment": [],
        "mountPoints": [],
        "ulimits": []
    }
}

在这里,您配置容器启动,运行 queue:work-batch 命令(假设 artisan 是您的入口点)并传递队列名称,first-run-job-queue 以及 Ref::jobId 参数,这是批处理连接器创建作业时传递的。

如果您提供了 tries 参数,您需要配置一个具有更多 "尝试" 的重试策略。否则,如果作业失败,批处理不会重试您的作业。Laravel 5.1 不会在尝试超出因作业失败而失败的作业后写入失败作业队列,直到 下一个 运行。较新版本将在同一运行中写入队列,因此此要求可以在以后放宽。

  1. 将服务提供程序添加到您的应用程序中
    • config/app.php 中将 providers 数组添加到 DNXLabs\LaravelQueueAwsBatch\BatchQueueServiceProvider::class

限制

延迟作业

AWS Batch 没有延迟作业的方法,作为我们的运行者,我们没有简单的解决方案。如果您需要延迟作业用于您的用例,在此阶段,我的建议是使用常规数据库队列,并发射一个作业到其中,该作业将在正确的时间发射批处理作业。