bitexpert/etcetera

此包已被弃用且不再维护。未建议替代包。

一个简单的ETL库,用于从任何来源读取数据,提取信息并写入任何目标

v0.1.0 2016-11-11 09:08 UTC

This package is auto-updated.

Last update: 2024-04-06 08:49:20 UTC


README

一个小型轻量级ETL框架

范围

Etcetera可用于多个与从来源(通常是*.xlsx文件)读取数据相关的任务,通过使用转换器、验证器、过滤器和装饰器将数据转换为所需格式,并将其存储到所需目标(例如MongoDB)

它是如何工作的?

Etcetera由四个主要部分组成

读取器

读取器用于从您的来源读取数据

提取器

提取器是魔法发生的地方。提取器从读取器读取的数据中提取相关数据,并通过其配置中描述的规则进行转换。结果数据称为提取。

写入器

每次读取和提取数据集时,写入器都会接收到结果提取并将其写入您想要的任何目标。

处理器

处理器是etcetera的核心,它是读取器、提取器和写入器之间的粘合剂

读取器必须从您希望的数据源中读取数据集并从源中找到的每个值创建ValueDescriptors。现在,提取器将根据您配置的规则提取和转换单个数据集的ValueDescriptors描述的数据。提取和转换数据后,将作为提取传递给您的写入器。

有关进一步说明,请参阅bitexpert/etcetera-demo

将尽快提供更多文档。