keboola/extractor-bundle

此包已被废弃,不再维护。未建议替代包。
关于此包最新版本(1.2.1)没有可用的许可信息。

Keboola 提取器开发包

安装量: 2,537

依赖者: 1

建议者: 0

安全: 0

类型:symfony-bundle


README

本README假定您已了解Syrup环境。请参阅Syrup文档以获取基本信息!

0. 环境初始化

连接到Elasticsearch

确保您能连接到Elasticsearch以及参数_shared.yml中指定的数据库!

如果在Devel上开发,请跳过!

KBC Devel: ssh kbc-devel-02.keboola.com -L 9200:VPC-ELB-ElasticSearch-Syrup-Test-651343387.us-east-1.elb.amazonaws.com:9200 -L 3306:localhost:3306

1. 创建提取器

$ git clone git@github.com:keboola/extractor-generator.git

$ php extractor-generator/generate.php

按照交互界面进行操作

删除生成器

$ rm -rf extractor-generator

2. 准备Elasticsearch索引

php ./vendor/keboola/syrup/app/console syrup:create-index

3. 开始工作!

  • 编辑YourAppExtractor.php和YourAppExtractorJob.php
  • 如果需要在应用程序中使用parameters.yml中的值,请编辑Resources/config/services.yml

    • 示例

      • services.yml

        ex_twitter.extractor:
        	class: Keboola\TwitterExtractorBundle\TwitterExtractor
        	arguments: ['%twitter%']
        
      • TwitterExtractor.php

        /** @var array */
        protected $apiKeys;
        
        public function __construct($twitter) {
        	$this->apiKeys = $twitter;
        }
        
      • parameters.yml

        twitter:
        	api-key: WoWSuchApiKey16777216489
        	api-secret: OMGICantBelieveH0wS3cr3tIAmTh4t5cr42yTr00l0l0lOhai
        

我发现在使用run-job命令时,将消息打印到stdout对开发更方便。这可以通过编辑vendor/keboola/syrup/app/config/config_dev.yml中的monolog参数来实现。

monolog:
	handlers:
		syslog:
			type:                stream
			path:                php://stdout
			level:               debug
			bubble:              false

有关Syrup扩展包的更多信息,请参阅文档