medianet/clickhouse-builder

此包的最新版本（5.1.3）没有提供许可证信息。

Clickhouse sql查询构建器

维护者

详细信息

github.com/medianet/ClickhouseBuilder

源代码

安装: 6

依赖项: 0

建议者: 0

安全: 0

星星: 0

关注者: 0

分支: 74

5.1.3 2021-10-07 16:58 UTC

Requires

Requires (Dev)

Unknown License 26320497c801e408a4a88fc09aadf47f75458d70

  • FacedSID <ay.woop@imagespark.ru>
  • Evsign <evsign.alex.woop@gmail.com>
  • PsychodelEKS <psychodeleks.woop@gmail.com>

This package is auto-updated.

Last update: 2024-09-07 23:16:14 UTC

README

Build Status Coverage Status

要求

php 7.1+

安装

通过composer

composer require the-tinderbox/clickhouse-builder

使用方法

对于工作查询构建器，我们必须先前实例化并将其传递给构造函数the-tinderbox/clickhouse-php-client。

$server = new Tinderbox\Clickhouse\Server('127.0.0.1', '8123', 'default', 'user', 'pass');
$serverProvider = (new Tinderbox\Clickhouse\ServerProvider())->addServer($server);

$client = new Tinderbox\Clickhouse\Client($serverProvider);
$builder = new Builder($client);

之后，我们可以构建并执行SQL查询。

选择列

$builder->select('column', 'column2', 'column3 as alias');
$builder->select(['column', 'column2', 'column3 as alias']);
$builder->select(['column', 'column2', 'column3' => 'alias']);

所有这些调用都将转换为以下SQL

SELECT `column`, `column2`, `column3` AS `alias`

此外，我们还可以将闭包作为列传递。在这种情况下，闭包将传递Column类的实例，在其中我们可以设置列的格式。这对于包含许多函数、子查询等的复杂表达式非常有用。

$builder->select(function ($column) {
    $column->name('time')->sumIf('time', '>', 10);
});

编译为

SELECT sumIf(`time`, time > 10)
$builder->select(function ($column) {
    $column->as('alias') //or ->name('alias') in this case
    ->query()
    ->select('column')
    ->from('table');
});

编译为

SELECT  (SELECT `column` FROM `table) as `alias`

以下方法都可以实现相同的行为

$1 = $builder->select(function ($column) {
         $column->as('alias') //or ->name('alias') in this case
            ->query(function ($query) {
                $query->select('column')->from('table');
            })
});
$2 = $builder->select(function ($column) {
         $column->as('alias') //or ->name('alias') in this case
            ->query($builder->select('column')->from('table'));
});

注意！列上的函数不稳定，正在开发中。

从

$builder->select('column')->from('table', 'alias');

生成以下查询

SELECT `column` FROM `table` as `alias`

也可以传递闭包或构建器作为参数来执行子查询。

$builder->from(function ($from) {
    $from->query()->select('column')->from('table');
});
SELECT * FROM (SELECT `column` FROM `table`)

或

$builder->from(function ($from) {
    $from->query(function ($query) {
        $query->select('column')->from('table');
    });
});

或

$builder->from(function ($from) {
    $from->query($builder->select('column')->from('table'));
});

或

$builder->from($builder->select('column')->from('table'));

这些都是上述SQL查询的变体。

样本系数

$builder->select('column')->from('table')->sample(0.1);
SELECT `column` FROM `table` SAMPLE 0.1

我认为没有必要再添加其他词语了）

连接

$builder->from('table')->join('another_table', 'any', 'left', ['column1', 'column2'], true, 'alias');
SELECT * FROM `table` GLOBAL ANY LEFT JOIN `another_table` AS `alias` USING `column1`, `column2`

要作为第一个参数执行子查询，您可以传递闭包或构建器。

$builder->from('table')->join(function ($join) {
    $join->query()->select('column1', 'column2')->from('table2');
}, 'any', 'left', ['column1', 'column2']);

$builder->from('table')->join($builder->select('column1', 'column2')->from('table2'), 'any', 'left', ['column1', 'column2']);
SELECT * FROM `table` ANY LEFT JOIN (SELECT `column1`, `column2` FROM `table2`) USING `column1`, `column2`

此外，还有很多具有硬编码参数的辅助函数，如严格或类型及其组合。

$builder->from('table')->anyLeftJoin('table', ['column']);
$builder->from('table')->allLeftJoin('table', ['column']);
$builder->from('table')->allInnerJoin('table', ['column']);
$builder->from('table')->anyInnerJoin('table', ['column']);

$buulder->from('table')->leftJoin('table', 'any', ['column']);
$buulder->from('table')->innerJoin('table', 'all', ['column']);

您还可以使用数组连接。

$builder->from('test')->arrayJoin('someArr');
$builder->from('test')->leftArrayJoin('someArr');
SELECT * FROM `test` ARRAY JOIN `someArr`
SELECT * FROM `test` LEFT ARRAY JOIN `someArr`

临时表的使用

有些情况下，您需要按ID过滤用户，但ID的数量很大。您可以将用户ID存储在本地文件中，将其上传到服务器，并用作临时表。

有关本地文件的更多信息，请参阅此处的“使用本地文件”部分。

选择

您应该传递带有声明表结构的TempTable实例来附加文件到查询。

$builder->addFile(new TempTable('numbersTable', 'numbers.tsv', ['number' => 'UInt64'], Format::TSV));

$builder->table(raw('numbers(0,1000)')->whereIn('number', 'numbersTable')->get();

如果您希望表自动检测，请在调用whereIn之前调用addFile方法。

您可以在查询构建器的whereIn、prewhereIn、havingIn和join语句中使用本地文件。

插入

如果您想要将文件或文件插入到Clickhouse中，可以使用insertFile和insertFiles方法。

$builder->table('test')->insertFile(['date', 'userId'], 'test.tsv', Format::TSV);

或者，您可以将文件批处理传递给insertFiles方法，它们将异步插入。

$builder->table('test')-insertFiles(['date', 'userId'], [
    'test-1.tsv',
    'test-2.tsv',
    'test-3.tsv',
    'test-4.tsv',
    'test-5.tsv',
    'test-6.tsv',
    'test-7.tsv',
], Format::TSV)

此外，您还可以使用辅助程序并将数据插入到具有Memory引擎的临时表中。

$builder->table('test')->values('test.tsv')->format(Format::TSV);

into_memory_table($builder, [
    'date' => 'Date',
    'userId' => 'UInt64'
]);

辅助程序将删除名为test的临时表并创建具有声明结构、Memory引擎的表，并将来自test.tsv文件的数据插入到刚刚创建的表中。

如果您想填充一些表以执行查询然后删除它，这很有帮助。

预where、where、having

所有示例都将关于where，但同样的行为也适用于prewhere和having。

$builder->from('table')->where('column', '=', 'value');
$builder->from('table')->where('column', 'value');
SELECT * FROM `table` WHERE `column` = 'value'

所有字符串值都将用单引号括起来。如果未提供运算符，则使用=。如果未提供运算符且值是数组，则使用IN。

$builder->from('table')->where(function ($query) {
    $query->where('column1', 'value')->where('column2', 'value');
});
SELECT * FROM `table` WHERE (`column1` = 'value' AND `column2` = 'value')

如果在第一个参数中传递了闭包，则所有where语句都将用括号括起来。但如果在该构建器（闭包内部）指定了from，则它将转换为子查询。

$builder->from('table')->where(function ($query) {
    $query->select('column')->from('table');
})
SELECT * FROM `table` WHERE (SELECT `column` FROM `table`)

对于值参数几乎相同，除了括号封装之外。传递给值参数的任何闭包或构建器实例都将转换为子查询。

$builder->from('table')->where('column', 'IN', function ($query) {
    $query->select('column')->from('table');
});
SELECT * FROM `table` WHERE `column` IN (SELECT `column` FROM `table`)

您还可以传递此语句的内部表示，并将其用于其中。我不会进一步解释这一点，因为它不是首选的用法。

类似于连接，有很多带有硬编码参数的辅助函数。

$builder->where();
$builder->orWhere();

$builder->whereRaw();
$builer->orWhereRaw();

$builder->whereIn();
$builder->orWhereIn();

$builder->whereGlobalIn();
$builder->orWhereGlobalIn();

$builder->whereGlobalNotIn();
$builder->orWhereGlobalNotIn();

$builder->whereNotIn();
$builder->orWhereNotIn();

$builder->whereBetween();
$builder->orWhereBetween();

$builder->whereNotBetween();
$builder->orWhereNotBetween();

$builder->whereBetweenColumns();
$builder->orWhereBetweenColumns();

$builder->whereNotBetweenColumns();
$builder->orWhereNotBetweenColumns();

还有一个通过字典来创建WHERE语句的方法。

$builder->whereDict('dict', 'attribute', 'key', '=', 'value');
SELECT dictGetString('dict', 'attribute', 'key') as `attribute` WHERE `attribute` = 'value'

如果您想使用复杂的键，可以传递一个数组作为$key，然后数组将被转换为元组。默认情况下，所有字符串都会用单引号转义，但您可以传递一个Identifier实例来传递，例如列名。

$builder->whereDict('dict', 'attribute', [new Identifier('column'), 'string value'], '=', 'value');

将会产生：

SELECT dictGetString('dict', 'attribute', tuple(`column`, 'string value')) as `attribute` WHERE `attribute` = 'value'

分组（Group By）

与SELECT类似。

$builder->from('table')->select('column', raw('count()'))->groupBy('attribute');

最终的查询将如下所示：

SELECT `column`, count() FROM `table` GROUP BY `attribute`

排序（Order By）

$builder->from('table')->orderBy('column', 'asc', 'fr');

在上面的例子中，第三个参数是可选的。

SELECT *  FROM `table` ORDER BY `column` ASC COLLATE 'fr'

别名（Aliases）

$builder->orderByAsc('column');
$builder->orderByDesc('column');

对于列，其行为与SELECT方法中的行为相同。

限制（Limit）

有两种类型的限制：Limit 和 limit n by。

limit n by

$builder->from('table')->limitBy(1, 'column1', 'column2');

将会产生：

SELECT * FROM `table` LIMIT 1 BY `column1`, `column2`

简单限制

$builder->from('table')->limit(10, 100);

将会产生：

SELECT * FROM `table` LIMIT 100, 10
$builder->from('table')->limit(10, 100);

SELECT * FROM `table` LIMIT 100, 10

Union ALL

在unionAll方法中可以传递闭包或构建器实例。如果是闭包，内部将传入构建器实例。

$builder->from('table')->unionAll(function($query) {
    $query->select('column1')->from('table');
})->unionAll($builder->select('column2')->from('table'));
SELECT * FROM `table` UNION ALL SELECT `column1` FROM `table` UNION ALL SELECT `column2` FROM `table`

执行请求并获取结果。

在构建请求后，您必须调用get()方法以将请求发送到服务器。此外，还有机会进行异步请求。它几乎与unionAll相同。

$builder->from('table')->asyncWithQuery(function($query) {
    $query->from('table');
});
$builder->from('table')->asyncWithQuery($builder->from('table'));
$builder->from('table')->asyncWithQuery()->from('table');

这些调用会产生相同的行为。将执行两个异步查询的查询。现在，如果您调用get()方法，结果将返回一个数组，其中数字索引对应于具有该编号的请求的结果。

集成（Integrations）

Laravel 或 Lumen < 5.5

您可以在Laravel/Lumen应用程序中使用此构建器。

Laravel

在config/app.php中添加：

    'providers' => [
        ...
        \Tinderbox\ClickhouseBuilder\Integrations\Laravel\ClickhouseServiceProvider::class,
        ...
    ]

Lumen

在bootstrap/app.php中添加：

$app->register(\Tinderbox\ClickhouseBuilder\Integrations\Laravel\ClickhouseServiceProvider::class);

通过config/database.php进行连接配置。

单个服务器的示例

'connections' => [
    'clickhouse' => [
        'driver' => 'clickhouse',
        'host' => 'ch-00.domain.com',
        'port' => '',
        'database' => '',
        'username' => '',
        'password' => '',
        'options' => [
            'timeout' => 10,
            'protocol' => 'https'
        ]
    ]
]

或

'connections' => [
    'clickhouse' => [
        'driver' => 'clickhouse',
        'servers' => [
            [
                'host' => 'ch-00.domain.com',
                'port' => '',
                'database' => '',
                'username' => '',
                'password' => '',
                'options' => [
                    'timeout' => 10,
                    'protocol' => 'https'
                ]
            ],

            [
                'host' => 'ch-01.domain.com',
                'port' => '',
                'database' => '',
                'username' => '',
                'password' => '',
                'options' => [
                    'timeout' => 10,
                    'protocol' => 'https'
                ]
            ]
        ]
    ]
]

集群的示例

'connections' => [
    'clickhouse' => [
        'driver' => 'clickhouse',
        'clusters' => [
            'cluster-name' => [
                [
                    'host' => '',
                    'port' => '',
                    'database' => '',
                    'username' => '',
                    'password' => '',
                    'options' => [
                        'timeout' => 10,
                        'protocol' => 'https'
                    ]
                ],

                [
                    'host' => '',
                    'port' => '',
                    'database' => '',
                    'username' => '',
                    'password' => '',
                    'options' => [
                        'timeout' => 10,
                        'protocol' => 'https'
                    ]
                ]
            ]
        ]
    ]
]

带标签的服务的示例

'connections' => [
    'clickhouse' => [
        'driver' => 'clickhouse',
        'servers' => [
            [
                'host' => 'ch-00.domain.com',
                'port' => '',
                'database' => '',
                'username' => '',
                'password' => '',
                'options' => [
                    'timeout' => 10,
                    'protocol' => 'https',
                    'tags' => [
                        'tag'
                    ],
                ],
            ],
            [
                'host' => 'ch-01.domain.com',
                'port' => '',
                'database' => '',
                'username' => '',
                'password' => '',
                'options' => [
                    'timeout' => 10,
                    'protocol' => 'https'
                ],
            ],
        ],
    ],
]

选择无集群的服务器

DB::connection('clickhouse')->using('ch-01.domain.com')->select(...);

或在每个新查询上随机执行服务

DB::connection('clickhouse')->usingRandomServer()->select(...);

选择集群

DB::connection('clickhouse')->onCluster('test')->select(...);

使用带标签的服务器

DB::connection('clickhouse')->usingServerWithTag('tag')->select(...);

您可以使用servers和clusters配置指令，并通过onCluster和using方法选择查询应在哪个服务器上执行。如果您想选择集群外的服务器，只需调用onCluster(null)然后调用using方法。您可以使用选定的集群或未选定的集群调用usingRandomServer和using方法。