lukewaite/laravel-queue-aws-batch

Laravel Queue for AWS Batch,允许用户将作业提交到Batch队列进行处理。

v2.0.1 2017-04-14 01:31 UTC

This package is auto-updated.

Last update: 2024-09-14 06:19:31 UTC


README

Latest Version on Packagist Software License Build Status Code Coverage

支持版本

安装

请查看上面的表格以获取包版本信息,并相应地更改下面的版本。

使用 composer,运行

composer require lukewaite/laravel-queue-aws-batch ~2.0

用法

  1. 您的Laravel应用需要被容器化并推送到您选择的容器注册库。将 ENTRYPOINT 设置为 artisan

  2. config/queues.php 配置文件的 connections 数组中添加一个新的队列

    [
        'batch' => [
            'driver' => 'batch',
            'table' => 'jobs',
            'queue' => 'first-run-job-queue',
            'jobDefinition' => 'my-job-definition',
            'expire' => 60,
            'region' => 'us-east-1'
        ]
    ]

此队列传输依赖于将其队列作业写入数据库队列。在此示例中,它将作业写入 jobs 表。您需要使用 artisan queue:table 来创建一个迁移以创建此表。

  1. 创建一个与 queue 配置设置同名的 AWS Batch 作业队列。Batch 连接器将在此处将您的作业推入Batch。在此示例中,我的队列名称将是 first-run-job-queue

  2. 为每个定义的队列创建一个类似于以下的 AWS Batch 作业定义

{
    "jobDefinitionName": "my-laravel-application",
    "type": "container",
    "parameters": {},
    "retryStrategy": {
        "attempts": 10
    },
    "containerProperties": {
        "image": "<your docker image>",
        "vcpus": 1,
        "memory": 256,
        "command": [
            "queue:work-batch",
            "Ref::jobId",
            "--tries=3"
        ],
        "volumes": [],
        "environment": [],
        "mountPoints": [],
        "ulimits": []
    }
}

在此处,您配置容器启动,运行 queue:work-batch 命令(假设 artisan 是您的入口点)并传递队列名称,first-run-job-queue 以及 Ref::jobId 参数,这是在 Batch 连接器创建作业时传递的。

如果提供了该参数,您需要配置一个具有比您运行的 tries 更多的 "尝试" 的重试策略。否则,如果作业失败,Batch 不会重试您的作业。Laravel 5.1 不会在超过尝试次数的作业失败后写入失败作业队列,直到 下一个 运行。较新版本将在同一运行中写入队列,因此此要求可以在以后放宽。

  1. 将服务提供程序添加到您的应用中
    • config/app.php 中向 providers 数组添加: LukeWaite\LaravelQueueAwsBatch\BatchQueueServiceProvider::class

限制

延迟作业

AWS Batch 没有延迟作业的方法,作为我们的运行器,我们没有简单的解决方案。如果您需要延迟作业,那么在这个阶段,我的建议是使用常规的DB队列,并触发一个作业将其推入队列,该作业将在正确的时间触发批处理作业。