keboola/data-loader

此包已被废弃且不再维护。没有建议的替代包。

在 Docker 沙盒中加载数据的辅助工具

维护者

详细信息

github.com/keboola/data-loader

源代码

问题

安装: 540

依赖: 0

建议者: 0

安全性: 0

星星: 0

关注者: 18

分支: 0

开放问题: 0

1.8.1 2020-09-25 07:35 UTC

Requires

Requires (Dev)

MIT 43ad8aedeed17348c27d542058e94b45e176c38f

  • Keboola <devel.woop@keboola.com>

This package is auto-updated.

Last update: 2024-04-26 20:38:55 UTC

README

应用程序，从存储 API 加载数据并将其存储在数据文件夹中。用于将数据加载到 Docker 沙盒中。有两种操作模式

  • 正在创建转换沙盒 - 需要提供 KBC_CONFIG_ID 和相关变量。
  • 正在创建普通沙盒 - 需要提供 KBC_EXPORT_CONFIG 变量。

用法

以下环境变量用于配置（参见 .env.template）

  • KBC_EXPORT_CONFIG - 输入映射的序列化 JSON 配置，请参阅 说明。
  • KBC_TOKEN - 存储 API 令牌。
  • KBC_DATADIR - 可选的目标目录，默认为 /data/
  • KBC_RUNID - 可选的 RunID，它附加到日志中
  • KBC_STORAGEAPI_URL - 可选的存储 API URL，如果它与 https://connection.keboola.com 不同
  • KBC_COMPONENT_ID - 转换组件的可选 ID（仅适用于 V2 转换）。
  • KBC_CONFIG_ID - 转换配置的 ID。
  • KBC_CONFIG_VERSION - KBC_CONFIG_ID 转换的版本。
  • KBC_ROW_ID - 可选的 KBC_CONFIG_ID 转换行的 ID。（仅适用于旧版转换）
  • KBC_VARIABLE_VALUES_ID - 可选，变量值的 ID（仅适用于 v2 转换）
  • KBC_VARIABLE_VALUES_DATA - 可选，变量值数据的数组（仅适用于 v2 转换）

需要 KBC_EXPORT_CONFIG 或 KBC_CONFIG_ID、KBC_CONFIG_VERSION、KBC_ROW_ID 的组合。

使用 php src/run.php 运行加载器。

开发

初始化

git clone https://github.com/keboola/data-loader
cd data-loader
docker-compose build
docker-compose run --rm dev composer install

测试

创建 .env 文件

KBC_TEST_URL=https://connection.keboola.com/
KBC_TEST_TOKEN=

运行测试

docker-compose run --rm dev composer ci

许可证

MIT 许可，请参阅 LICENSE 文件。