rizkyadi487 / clickhouse-builder
Clickhouse sql查询构建器
Requires
- php: ~7.1
- myclabs/php-enum: 1.7.6
- rizkyadi487/clickhouse-php-client: ^2.0
Requires (Dev)
- illuminate/config: 5.*
- illuminate/database: 5.*
- illuminate/events: 5.*
- mockery/mockery: ^0.9.9
- phpunit/phpunit: ^6.1
This package is auto-updated.
Last update: 2024-09-07 13:42:48 UTC
README
需求
php 7.1
安装
通过composer
composer require the-tinderbox/clickhouse-builder
用法
为了使用查询构建器,我们必须在构造函数中先实例化并传递 the-tinderbox/clickhouse-php-client
。
$server = new Tinderbox\Clickhouse\Server('127.0.0.1', '8123', 'default', 'user', 'pass'); $serverProvider = (new Tinderbox\Clickhouse\ServerProvider())->addServer($server); $client = new Tinderbox\Clickhouse\Client($serverProvider); $builder = new Builder($client);
之后,我们可以构建并执行SQL查询。
选择列
$builder->select('column', 'column2', 'column3 as alias'); $builder->select(['column', 'column2', 'column3 as alias']); $builder->select(['column', 'column2', 'column3' => 'alias']);
所有这些调用将被转换为以下SQL
SELECT `column`, `column2`, `column3` AS `alias`
此外,我们也可以通过闭包传递列。在这种情况下,闭包将传递Column类的实例,在其中我们可以设置列的属性。这可以用于具有许多函数、子查询等的复杂表达式。
$builder->select(function ($column) { $column->name('time')->sumIf('time', '>', 10); });
将编译为
SELECT sumIf(`time`, time > 10)
$builder->select(function ($column) { $column->as('alias') //or ->name('alias') in this case ->query() ->select('column') ->from('table'); });
将编译为
SELECT (SELECT `column` FROM `table) as `alias`
也可以通过以下任何方法实现相同的行为
$1 = $builder->select(function ($column) { $column->as('alias') //or ->name('alias') in this case ->query(function ($query) { $query->select('column')->from('table'); }) }); $2 = $builder->select(function ($column) { $column->as('alias') //or ->name('alias') in this case ->query($builder->select('column')->from('table')); });
注意!列上的函数尚不稳定,处于开发中。
来自
$builder->select('column')->from('table', 'alias');
生成以下查询
SELECT `column` FROM `table` as `alias`
也可以传递闭包或构建器作为子查询执行的参数。
$builder->from(function ($from) { $from->query()->select('column')->from('table'); });
SELECT * FROM (SELECT `column` FROM `table`)
或
$builder->from(function ($from) { $from->query(function ($query) { $query->select('column')->from('table'); }); });
或
$builder->from(function ($from) { $from->query($builder->select('column')->from('table')); });
或
$builder->from($builder->select('column')->from('table'));
这是上述SQL查询的所有变体。
样本系数
$builder->select('column')->from('table')->sample(0.1);
SELECT `column` FROM `table` SAMPLE 0.1
我想不需要额外的词语了)
连接
$builder->from('table')->join('another_table', 'any', 'left', ['column1', 'column2'], true);
SELECT * FROM `table` GLOBAL ANY LEFT JOIN `another_table` USING `column1`, `column2`
要执行子查询,可以将闭包或构建器作为第一个参数传递。
$builder->from('table')->join(function ($query) { $query->select('column1', 'column2')->from('table2'); }, 'any', 'left', ['column1', 'column2']); $builder->from('table')->join($builder->select('column1', 'column2')->from('table2'), 'any', 'left', ['column1', 'column2']);
SELECT * FROM `table` ANY LEFT JOIN (SELECT `column1`, `column2` FROM `table2`) USING `column1`, `column2`
此外,还有许多具有硬编码参数的辅助函数,例如严格或类型及其组合。
$builder->from('table')->anyLeftJoin('table', ['column']); $builder->from('table')->allLeftJoin('table', ['column']); $builder->from('table')->allInnerJoin('table', ['column']); $builder->from('table')->anyInnerJoin('table', ['column']); $buulder->from('table')->leftJoin('table', 'any', ['column']); $buulder->from('table')->innerJoin('table', 'all', ['column']);
临时表的使用
有些情况下,您需要根据它们的ID过滤用户,但ID的数量很大。您可以将用户ID存储在本地文件中,将其上传到服务器,并用作临时表。
有关本地文件的更多信息,请参阅此处的使用本地文件
部分。
选择
您应该传递具有声明表结构的TempTable
实例来附加文件到查询。
$builder->addFile(new TempTable('numbersTable', 'numbers.tsv', ['number' => 'UInt64'], Format::TSV)); $builder->table(raw('numbers(0,1000)')->whereIn('number', 'numbersTable')->get();
如果希望自动检测表,请在调用whereIn
之前调用addFile
方法。
您可以在查询构建器的whereIn
、prewhereIn
、havingIn
和join
语句中使用本地文件。
插入
如果要将文件或文件插入Clickhouse,可以使用insertFile
和insertFiles
方法。
$builder->table('test')->insertFile(['date', 'userId'], 'test.tsv', Format::TSV);
或者,您可以将文件批传递给insertFiles
方法,所有文件都将异步插入。
$builder->table('test')-insertFiles(['date', 'userId'], [
'test-1.tsv',
'test-2.tsv',
'test-3.tsv',
'test-4.tsv',
'test-5.tsv',
'test-6.tsv',
'test-7.tsv',
], Format::TSV)
此外,您还可以使用辅助函数并将数据插入具有Memory引擎的临时表。
$builder->table('test')->values('test.tsv')->format(Format::TSV);
into_memory_table($builder, [
'date' => 'Date',
'userId' => 'UInt64'
]);
辅助函数将删除名为test
的临时表,并创建具有声明结构、Memory引擎的表,并将数据从test.tsv
文件中插入到刚刚创建的表中。
如果您想向某些表填充数据以执行查询然后删除它,这很有帮助。
预where,where,having
所有示例都将关于where,但同样适用于prewhere和having。
$builder->from('table')->where('column', '=', 'value'); $builder->from('table')->where('column', 'value');
SELECT * FROM `table` WHERE `column` = 'value'
所有字符串值都将用单引号括起来。如果未提供运算符,则使用=
。如果未提供运算符且值是数组,则使用IN
。
$builder->from('table')->where(function ($query) { $query->where('column1', 'value')->where('column2', 'value'); });
SELECT * FROM `table` WHERE (`column1` = 'value' AND `column2` = 'value')
如果第一个参数传递了闭包,则所有where语句将用括号括起来。但如果在该构建器(闭包内)指定了from
,则它将转换为子查询。
$builder->from('table')->where(function ($query) { $query->select('column')->from('table'); })
SELECT * FROM `table` WHERE (SELECT `column` FROM `table`)
对于值参数,几乎相同,只是包裹在括号内。任何作为值传递的闭包或构建器实例都将转换为子查询。
$builder->from('table')->where('column', 'IN', function ($query) { $query->select('column')->from('table'); });
SELECT * FROM `table` WHERE `column` IN (SELECT `column` FROM `table`)
你也可以传递该语句的内部表示,它将被使用。我不会对此进行更深入的说明,因为这并不是最佳使用方式。
与连接类似,有许多具有硬编码参数的帮助器。
$builder->where(); $builder->orWhere(); $builder->whereRaw(); $builer->orWhereRaw(); $builder->whereIn(); $builder->orWhereIn(); $builder->whereGlobalIn(); $builder->orWhereGlobalIn(); $builder->whereGlobalNotIn(); $builder->orWhereGlobalNotIn(); $builder->whereNotIn(); $builder->orWhereNotIn(); $builder->whereBetween(); $builder->orWhereBetween(); $builder->whereNotBetween(); $builder->orWhereNotBetween(); $builder->whereBetweenColumns(); $builder->orWhereBetweenColumns(); $builder->whereNotBetweenColumns(); $builder->orWhereNotBetweenColumns();
还有一个通过字典制作where的方法
$builder->whereDict('dict', 'attribute', 'key', '=', 'value');
SELECT dictGetString('dict', 'attribute', 'key') as `attribute` WHERE `attribute` = 'value'
如果你想使用复杂键,你可以将数组作为$key
传递,然后数组将被转换为元组。默认情况下,所有字符串都将被单引号转义,但你可以传递一个Identifier
实例来传递例如列名
$builder->whereDict('dict', 'attribute', [new Identifier('column'), 'string value'], '=', 'value');
将产生
SELECT dictGetString('dict', 'attribute', tuple(`column`, 'string value')) as `attribute` WHERE `attribute` = 'value'
分组
与选择类似。
$builder->from('table')->select('column', raw('count()')->groupBy('attribute');
最终查询将如下所示
SELECT `column`, count() FROM `table` GROUP BY `attribute`
排序
$builder->from('table')->orderBy('column', 'asc', 'fr');
在上面的例子中,第三个参数是可选的
SELECT * FROM `table` ORDER BY `column` ASC COLLATE 'fr'
别名
$builder->orderByAsc('column'); $builder->orderByDesc('column');
对于列,其行为与select方法中的行为相同。
限制
有两种类型的限制。限制和限制n by。
限制n by
$builder->from('table')->limitBy(1, 'column1', 'column2');
将产生
SELECT * FROM `table` LIMIT 1 BY `column1`, `column2`
简单限制
$builder->from('table')->limit(10, 100);
将产生
SELECT * FROM `table` LIMIT 100, 10
$builder->from('table')->limit(10, 100);
SELECT * FROM `table` LIMIT 100, 10
UNION ALL
在unionAll
方法中可以传递闭包或构建器实例。如果内部是闭包,则将传递构建器实例。
$builder->from('table')->unionAll(function($query) { $query->select('column1')->from('table'); })->unionAll($builder->select('column2')->from('table'));
SELECT * FROM `table` UNION ALL SELECT `column1` FROM `table` UNION ALL SELECT `column2` FROM `table`
执行请求并获取结果。
在构建请求后,你必须调用get()
方法以将请求发送到服务器。此外,还有机会进行异步请求。它的工作方式几乎与unionAll
相同。
$builder->from('table')->asyncWithQuery(function($query) { $query->from('table'); }); $builder->from('table')->asyncWithQuery($builder->from('table')); $builder->from('table')->asyncWithQuery()->from('table');
这些调用将产生相同的行为。两个将异步执行的查询。现在,如果你调用get()
方法,结果将返回一个数组,其中数字索引对应于具有此数字的请求的结果。
集成
Laravel或Lumen < 5.5
你可以在Laravel/Lumen应用程序中使用此构建器。
Laravel
在config/app.php
中添加
'providers' => [ ... \Tinderbox\ClickhouseBuilder\Integrations\Laravel\ClickhouseServiceProvider::class, ... ]
Lumen
在bootstrap/app.php
中添加
$app->register(\Tinderbox\ClickhouseBuilder\Integrations\Laravel\ClickhouseServiceProvider::class);
通过config/database.php
配置连接。
单独服务器的示例
'connections' => [ 'clickhouse' => [ 'driver' => 'clickhouse', 'host' => 'ch-00.domain.com', 'port' => '', 'database' => '', 'username' => '', 'password' => '', 'options' => [ 'timeout' => 10, 'protocol' => 'https' ] ] ]
或
'connections' => [ 'clickhouse' => [ 'driver' => 'clickhouse', 'servers' => [ [ 'host' => 'ch-00.domain.com', 'port' => '', 'database' => '', 'username' => '', 'password' => '', 'options' => [ 'timeout' => 10, 'protocol' => 'https' ] ], [ 'host' => 'ch-01.domain.com', 'port' => '', 'database' => '', 'username' => '', 'password' => '', 'options' => [ 'timeout' => 10, 'protocol' => 'https' ] ] ] ] ]
集群的示例
'connections' => [ 'clickhouse' => [ 'driver' => 'clickhouse', 'clusters' => [ 'cluster-name' => [ [ 'host' => '', 'port' => '', 'database' => '', 'username' => '', 'password' => '', 'options' => [ 'timeout' => 10, 'protocol' => 'https' ] ], [ 'host' => '', 'port' => '', 'database' => '', 'username' => '', 'password' => '', 'options' => [ 'timeout' => 10, 'protocol' => 'https' ] ] ] ] ] ]
选择无集群的服务器
DB::connection('clickhouse')->using('ch-01.domain.com')->select(...);
或者在每个新查询上随机执行
DB::connection('clickhouse')->usingRandomServer()->select(...);
选择集群
DB::connection('clickhouse')->onCluster('test')->select(...);
你可以使用servers
和clusters
配置指令,并通过onCluster
和using
方法选择查询应在哪个服务器上执行。如果你想选择集群外的服务器,只需调用onCluster(null)
,然后调用using
方法。你可以使用usingRandomServer
和using
方法与所选集群或无集群。
- 分支