keboola/openlineage-generator

使用 OpenLineage API 生成服务的工作数据

维护者

详细信息

github.com/keboola/openlineage-generator

源代码

问题

安装: 14

依赖: 0

建议者: 0

安全: 0

星标: 0

关注者: 17

分支: 0

开放问题: 0

1.1.0 2023-10-30 08:47 UTC

Requires

Requires (Dev)

MIT 41699d2501f3e1ac10ffae283913645c1500bba4

This package is auto-updated.

Last update: 2024-08-30 01:27:31 UTC

README

此库将从支持 OpenLineage API 的数据血缘服务（例如 Marquez）的 Job Queue API open-api-lineage 端点 生成作业元数据。

安装

该库作为 composer 包 提供。要在项目中使用此库，请按照以下步骤操作

安装包

composer require keboola/openlineage-generator

在引导脚本中添加自动加载器

require 'vendor/autoload.php';

更多内容请参阅 Composer 文档

用法

$openLineageWriter = new OpenLineageWriter(
            $queueClient, // keboola job queue client
            $openLineageClient, // http client for open lineage api
            $logger,
            $createdTimeFrom, //DateTimeImmutablee object from which jobs will be imported
            $config->getOpenLineageEndpoint(), // url of open lineage api
            $config->getJobNameAsConfig() // boolean, if true, job name will be used as config name
        );

$openLineageWriter->write();

开发

克隆此仓库，并使用以下命令初始化工作空间

git clone https://github.com/keboola/openlineage-generator
cd openlineage-generator
docker-compose build
docker-compose run --rm dev composer install --no-scripts

使用此命令运行 CI 检查

docker-compose run --rm dev composer ci

集成

有关部署和与 KBC 集成的信息，请参阅开发者文档的部署部分

许可证

MIT 许可，请参阅 LICENSE 文件。