README

PHP客户端，用于Job队列API (API文档)。

使用方法

composer require keboola/job-queue-api-php-client

use Keboola\JobQueueClient\Client;
use Keboola\JobQueueClient\JobData;use Psr\Log\NullLogger;

$client = new Client(
    new NullLogger(),
    'http://queue.conenection.keboola.com/',
    'xxx-xxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
);
$result = $client->createJob(new JobData(
    'keboola.ex-db-snowflake',
    '123',
    [],
    'run'
));
var_dump($result['id']);

开发

• 创建服务主体以下载所需的镜像并登录

      SERVICE_PRINCIPAL_NAME=[USERNAME]-job-queue-internal-api-pull
      ACR_REGISTRY_ID=$(az acr show --name keboolapes --query id --output tsv --subscription c5182964-8dca-42c8-a77a-fa2a3c6946ea)
      SP_PASSWORD=$(az ad sp create-for-rbac --name http://$SERVICE_PRINCIPAL_NAME --scopes $ACR_REGISTRY_ID --role acrpull --query password --output tsv)
      SP_APP_ID=$(az ad sp show --id http://$SERVICE_PRINCIPAL_NAME --query appId --output tsv)    

• 登录并检查是否可以拉取镜像

      docker login keboolapes.azurecr.io --username $SP_APP_ID --password $SP_PASSWORD
      docker pull keboolapes.azurecr.io/job-queue-internal-api:latest
      docker pull keboolapes.azurecr.io/job-queue-api:latest

• 将凭据添加到k8s集群

      kubectl create secret docker-registry regcred --docker-server="https://keboolapes.azurecr.io" --docker-username="$SP_APP_ID" --docker-password="$SP_PASSWORD" --namespace dev-job-queue-api-php-client
      kubectl patch serviceaccount default -p "{\"imagePullSecrets\":[{\"name\":\"regcred\"}]}" --namespace dev-job-queue-api-php-client

• 在set-env.sh文件中设置以下环境变量（使用set-env.template.sh作为示例）

  • test_storage_api_url - Keboola连接URL。
  • test_storage_api_token - 测试项目的令牌。

• 设置Azure或AWS资源之一（或两者，但只需要一个）。

AWS设置

• 使用provisioning/aws.json CF模板创建用于本地开发的用户（JobQueueApiPhpClient）。
  • 为创建的用户创建AWS密钥。
  • 在set-env.sh文件中设置以下环境变量（使用set-env.template.sh作为示例）
    • test_aws_access_key_id - 为JobQueueApiPhpClient用户创建的安全凭据。
    • test_aws_secret_access_key - 为JobQueueApiPhpClient用户创建的安全凭据。
    • test_kms_region - 上一个堆栈的Region输出。
    • test_kms_key_id - 上一个堆栈的KmsKey输出。

Azure设置

• 创建资源组

  az account set --subscription "Keboola DEV PS Team CI"
  az group create --name testing-job-queue-api-php-client --location "East US"

• 创建服务主体

  az ad sp create-for-rbac --name testing-job-queue-api-php-client

• 使用响应设置test_azure_client_id、test_azure_client_secret和test_azure_tenant_id的值在set-env.sh文件中

  {
    "appId": "268a6f05-xxxxxxxxxxxxxxxxxxxxxxxxxxx", //-> test_azure_client_id
    "displayName": "testing-job-queue-internal-api-php-client",
    "name": "http://testing-job-queue-internal-api-php-client",
    "password": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx", //-> test_azure_client_secret
    "tenant": "9b85ee6f-xxxxxxxxxxxxxxxxxxxxxxxxxxx" //-> test_azure_tenant_id
  }

• 获取服务主体的ID

  SERVICE_PRINCIPAL_ID=$(az ad sp list --display-name testing-job-queue-api-php-client --query "[0].objectId" --output tsv)

• 部署密钥保管库，提供来自上一条命令的租户ID、服务主体ID和组ID

  ./set-env.sh # set $test_azure_tenant_id env
  az deployment group create --resource-group testing-job-queue-api-php-client --template-file provisioning/azure.json --parameters vault_name=test-job-queue-client tenant_id=$test_azure_tenant_id service_principal_object_id=$SERVICE_PRINCIPAL_ID

• 显示密钥保管库URL

  az keyvault show --name test-job-queue-client --query "properties.vaultUri" --output tsv

返回例如https://test-job-queue-client.vault.azure.net/，使用此URL在set-env.sh文件中设置值：- test_azure_key_vault_url - https://test-job-queue-client.vault.azure.net/

生成环境配置

export db_password="cm9vdA==" #root
export db_password_urlencoded="cm9vdA=="
export test_azure_client_secret_base64=$(printf "%s" "$test_azure_client_secret"| base64 --wrap=0)
export test_aws_secret_access_key_base64=$(printf "%s" "$test_aws_secret_access_key"| base64 --wrap=0)

./set-env.sh
envsubst < provisioning/environments.yaml.template > provisioning/environments.yaml
kubectl apply -f ./provisioning/environments.yaml
kubectl apply -f ./provisioning/public-api.yaml
queue_public_api_ip=`kubectl get svc --output jsonpath --template "{.items[?(@.metadata.name==\"dev-job-queue-api-service\")].status.loadBalancer.ingress[].ip}" --namespace=dev-job-queue-api-php-client`

echo "queue_public_api_url: http://$(queue_public_api_ip):94"

将结果queue_public_api_ip存储在set-env.sh中。

运行测试

• 使用上述设置，您可以运行测试

  docker compose build
  source ./set-env.sh && docker compose run tests

• 要使用本地代码运行测试，请使用

  docker compose run tests-local composer install
  source ./set-env.sh && docker compose run tests-local

许可证

MIT许可，请参阅LICENSE文件。