README

问题

通常情况下，从数据库批量获取数据的代码与处理这些数据的逻辑混合在一起。这样的代码通常会被重复使用，并使维护变得更加复杂。

解决方案

iterable-dbal - 提供一套类，用于将批量 SQL 查询分割成独立查询。适用于与 doctrine/dbal 结合使用。

备注：使用生成器实现。

使用示例

假设需要遍历数据库中标识符在 1 到 1,000,000,000 之间的现有记录。当 1,000,000,000 条记录全部放入内存中时（大查询），可以使用 \Drom\IterableUtils\Dbal\BatchedMinMaxQueryIterator 来执行 N 个简化查询 - 这个逻辑被封装在迭代器内部。

/**
 * @var \Doctrine\DBAL\Connection $connection
 */
$iterator = new \Drom\IterableUtils\Dbal\BatchedMinMaxQueryIterator(
    $batchSize = 1000,
    \Closure::fromCallable([$connection, 'fetchFirstColumn']),
    <<<'SQL'
    SELECT id
    FROM `test`.`sample_table`
    WHERE field1 IN (:param1)
    WHERE id BETWEEN :minId AND :maxId
    SQL,
    [
        'minId' => 1,
        'maxId' => 1_000_000_000,
        'field1' => [1, 2, 3],
    ],
    [
        'minId' => \Doctrine\DBAL\ParameterType::INTEGER,
        'maxId' => \Doctrine\DBAL\ParameterType::INTEGER,
        'field1' => \Doctrine\DBAL\Connection::PARAM_INT_ARRAY,
    ]
);

foreach ($iterator as $id) {
    echo PHP_EOL . $id;
}

如果需要遍历现有标识符集合，但需要获取相关数据集，则可以使用 \Drom\IterableUtils\Dbal\BatchedIdsQueryIterator 来执行 N 个简化查询。

$ids = [1, 2, /* ... */, 1_000_000_000];

/**
 * @var \Doctrine\DBAL\Connection $connection
 */
$iterator = new \Drom\IterableUtils\Dbal\BatchedIdsQueryIterator(
    $batchSize = 1000,
    \Closure::fromCallable([$connection, 'fetchAllAssociative']),
    <<<'SQL'
    SELECT *
    FROM `test`.`sample_table`
    WHERE field1 = :param1
    WHERE id in (:ids)
    SQL,
    [
        'ids' => $ids,
        'param1' => 1,
    ],
    [
        'ids' => \Doctrine\DBAL\Connection::PARAM_INT_ARRAY,
        'param1' => \Doctrine\DBAL\ParameterType::INTEGER,
    ]
);

foreach ($iterator as $item) {
    echo PHP_EOL;
    print_r($item);
    echo PHP_EOL;
}