keboola / extractor-bundle
Keboola 提取器开发包
Requires
- php: >=5.4.0
- guzzlehttp/retry-subscriber: ~0.1.2
- keboola/json-parser: ~1.0.8
- keboola/php-csvtable: ~0.1.3
- keboola/php-temp: ~0.1.0
- keboola/php-utils: ~0.1.8
- syrup/component-bundle: ~1.13.2
Requires (Dev)
- phpunit/phpunit: 3.7.*
- dev-master
- 2.0.x-dev
- 1.2.1
- 1.2.0
- 1.1.x-dev
- 1.1.7
- 1.1.6
- 1.1.5
- 1.1.4
- 1.1.3
- 1.1.2
- 1.1.1
- 1.1.0
- 1.0.7
- 1.0.6
- 1.0.5
- 1.0.4
- 1.0.3
- 1.0.2
- 1.0.1
- 1.0.0
- 1.0.0-beta13
- 1.0.0-beta12
- 1.0.0-beta11
- 1.0.0-beta10
- 1.0.0-beta9
- 1.0.0-beta8
- 1.0.0-beta7
- 1.0.0-beta6
- 1.0.0-beta5
- 1.0.0-beta4
- 1.0.0-beta3
- 1.0.0-beta2
- 1.0.0-beta1
- 1.0.0-beta
- 1.0.0-alpha1
- 1.0.0-alpha
- 0.11.4
- 0.11.3
- 0.11.2
- 0.11.1
- 0.11.0
- 0.10.3
- 0.10.2
- 0.10.1
- 0.10.0
- 0.9.13
- 0.9.12
- 0.9.11
- 0.9.10
- 0.9.9
- 0.9.8
- 0.9.7
- 0.9.6
- 0.9.5
- 0.9.4
- 0.9.3
- 0.9.2
- 0.9.1
- 0.9.0-alpha
- 0.8.12
- 0.8.11
- 0.8.10
- 0.8.9
- 0.8.8
- 0.8.7
- 0.8.6
- 0.8.5
- 0.8.4
- 0.8.3
- 0.8.2
- 0.8.1
- 0.8.0
- 0.7.6
- 0.7.5
- 0.7.4
- 0.7.3
- 0.7.2
- 0.7.1
- 0.7.0
- 0.6.1
- 0.6.0
- 0.5.2
- 0.5.1
- 0.5.0
- 0.4.5
- 0.4.4
- 0.4.3
- 0.4.2
- 0.4.1
- 0.4.0
- 0.3.0
- 0.2.3
- 0.2.2
- 0.2.1
- 0.2.0
- 0.1.8
- 0.1.7
- 0.1.6
- 0.1.5
- 0.1.4
- 0.1.3
- 0.1.2
- 0.1.1
- 0.1.0
- 0.0.3
- 0.0.2
- 0.0.1
This package is auto-updated.
Last update: 2019-02-20 18:17:14 UTC
README
本README假定您已了解Syrup环境。请参阅Syrup文档以获取基本信息!
0. 环境初始化
连接到Elasticsearch
确保您能连接到Elasticsearch以及参数_shared.yml中指定的数据库!
如果在Devel上开发,请跳过!
KBC Devel: ssh kbc-devel-02.keboola.com -L 9200:VPC-ELB-ElasticSearch-Syrup-Test-651343387.us-east-1.elb.amazonaws.com:9200 -L 3306:localhost:3306
1. 创建提取器
$ git clone git@github.com:keboola/extractor-generator.git
$ php extractor-generator/generate.php
按照交互界面进行操作
删除生成器
$ rm -rf extractor-generator
2. 准备Elasticsearch索引
php ./vendor/keboola/syrup/app/console syrup:create-index
3. 开始工作!
- 编辑YourAppExtractor.php和YourAppExtractorJob.php
如果需要在应用程序中使用parameters.yml中的值,请编辑Resources/config/services.yml
示例
services.yml
ex_twitter.extractor: class: Keboola\TwitterExtractorBundle\TwitterExtractor arguments: ['%twitter%']
TwitterExtractor.php
/** @var array */ protected $apiKeys; public function __construct($twitter) { $this->apiKeys = $twitter; }
parameters.yml
twitter: api-key: WoWSuchApiKey16777216489 api-secret: OMGICantBelieveH0wS3cr3tIAmTh4t5cr42yTr00l0l0lOhai
我发现在使用run-job命令时,将消息打印到stdout对开发更方便。这可以通过编辑vendor/keboola/syrup/app/config/config_dev.yml
中的monolog参数来实现。
monolog:
handlers:
syslog:
type: stream
path: php://stdout
level: debug
bubble: false
有关Syrup扩展包的更多信息,请参阅文档