hetao29/php-mysql-replication

MySQL复制协议的纯PHP实现。这允许您接收如插入、更新、删除等事件及其数据以及原始SQL查询。

维护者

详细信息

github.com/hetao29/php-mysql-replication

源代码

安装次数: 1

依赖者: 0

建议者: 0

安全: 0

星标: 0

关注者: 0

分叉: 93

8.1.1 2024-08-30 03:22 UTC

Requires

Requires (Dev)

MIT 0c31198d20c8879c9169135d8fcc60fdd67a2acb

  • Kacper Rowiński <kacper.rowinski.woop@gmail.com>

mysqlreplicationbinlogphp-librarymysql-replicationmysql-binlogmysql-replication-protocol

This package is auto-updated.

Last update: 2024-08-30 03:24:32 UTC

README

Latest Stable Version Total Downloads Latest Unstable Version Scrutinizer Code Quality Code Coverage

MySQL复制协议的纯PHP实现。这允许您接收如插入、更新、删除等事件及其数据以及原始SQL查询。

基于以下优秀作品的改进：https://github.com/noplay/python-mysql-replication 和 https://github.com/fengxiangyun/mysql-replication

安装

在您的项目中

composer require krowinski/php-mysql-replication

或独立使用

git clone https://github.com/krowinski/php-mysql-replication.git

composer install -o

兼容性（基于集成测试）

PHP

  • php 8.2
  • php 8.3

MYSQL

  • mysql 5.5
  • mysql 5.6
  • mysql 5.7
  • mysql 8.0（支持 mysql_native_password 和 caching_sha2_password）
  • mariadb 5.5
  • mariadb 10.0
  • mariadb 10.1
  • 可能的其他 Percona 版本，因为它基于原生 MySQL

MySQL服务器设置

在您的MySQL服务器配置文件中，您需要启用复制

[mysqld]
server-id        = 1
log_bin          = /var/log/mysql/mysql-bin.log
expire_logs_days = 10
max_binlog_size  = 100M
binlog-format    = row #Very important if you want to receive write, update and delete row events

MySQL复制事件说明 https://dev.mysqlserver.cn/doc/internals/en/event-meanings.html

MySQL用户权限

GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'user'@'host';

GRANT SELECT ON `dbName`.* TO 'user'@'host';

配置

使用ConfigBuilder或ConfigFactory创建配置。可用选项

'user' - 您的MySQL用户（必填）

'ip'或'host' - 您的MySQL主机/IP（必填）

'password' - 您的MySQL密码（必填）

'port' - 您的MySQL主机端口（默认 3306）

'charset' - 数据库连接字符集（默认 utf8）

'gtid' - 从GTID标记开始（格式 9b1c8d18-2a76-11e5-a26b-000c2976f3f3:1-177592）

'mariaDbGtid' - 从MariaDB GTID标记开始（格式 1-1-3,0-1-88）

'slaveId' - 用于识别的脚本从属ID（默认：666）（SHOW SLAVE HOSTS）

'binLogFileName' - 从bin日志文件名开始

'binLogPosition' - 从bin日志位置开始

'eventsOnly' - 要监听的事件数组（完整列表在 ConstEventType.php 文件中）

'eventsIgnore' - 要忽略的事件数组（完整列表在 ConstEventType.php 文件中）

'tablesOnly' - 只监听给定表的数组（默认所有表）

'databasesOnly' - 只监听给定数据库的数组（默认所有数据库）

'tableCacheSize' - 一些数据从信息模式收集，这些数据被缓存。

'custom' - 如果某些参数必须在扩展/实现自己的类中设置

'heartbeatPeriod' - 设置复制心跳之间的秒间隔。每当主机的二进制日志更新为事件时，下一次心跳的等待期就会被重置。间隔是一个范围在0到4294967秒的十进制值，分辨率为毫秒；最小的非零值是0.001。只有当二进制日志文件中超过间隔时间没有未发送的事件时，主才会发送心跳。

'saveUuid' - 设置从属uuid以用于识别（默认：0015d2b6-8a06-4e5e-8c07-206ef3fbd274）

类似的项目

Ruby: https://github.com/y310/kodama

Java: https://github.com/shyiko/mysql-binlog-connector-java

GO: https://github.com/siddontang/go-mysql

Python: https://github.com/noplay/python-mysql-replication

.NET: https://github.com/rusuly/MySqlCdc

示例

所有示例都在示例目录中提供

此示例将所有复制事件输出到控制台

请记得根据您的用户、主机和密码更改配置。

用户应具有复制权限 [ REPLICATION CLIENT, SELECT]

php example/dump_events.php

对于测试 SQL 事件

CREATE DATABASE php_mysql_replication;
use php_mysql_replication;
CREATE TABLE test4 (id int NOT NULL AUTO_INCREMENT, data VARCHAR(255), data2 VARCHAR(255), PRIMARY KEY(id));
INSERT INTO test4 (data,data2) VALUES ("Hello", "World");
UPDATE test4 SET data = "World", data2="Hello" WHERE id = 1;
DELETE FROM test4 WHERE id = 1;

输出将类似于以下内容（取决于示例配置，例如 GTID 开启/关闭）

=== Event format description ===
Date: 2017-07-06T13:31:11+00:00
Log position: 0
Event size: 116
Memory usage 2.4 MB

=== Event gtid ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57803092
Event size: 48
Commit: true
GTID NEXT: 3403c535-624f-11e7-9940-0800275713ee:13675
Memory usage 2.42 MB

=== Event query ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57803237
Event size: 145
Database: php_mysql_replication
Execution time: 0
Query: CREATE DATABASE php_mysql_replication
Memory usage 2.45 MB

=== Event gtid ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57803285
Event size: 48
Commit: true
GTID NEXT: 3403c535-624f-11e7-9940-0800275713ee:13676
Memory usage 2.45 MB

=== Event query ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57803500
Event size: 215
Database: php_mysql_replication
Execution time: 0
Query: CREATE TABLE test4 (id int NOT NULL AUTO_INCREMENT, data VARCHAR(255), data2 VARCHAR(255), PRIMARY KEY(id))
Memory usage 2.45 MB

=== Event gtid ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57803548
Event size: 48
Commit: true
GTID NEXT: 3403c535-624f-11e7-9940-0800275713ee:13677
Memory usage 2.45 MB

=== Event query ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57803637
Event size: 89
Database: php_mysql_replication
Execution time: 0
Query: BEGIN
Memory usage 2.45 MB

=== Event tableMap ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57803708
Event size: 71
Table: test4
Database: php_mysql_replication
Table Id: 866
Columns amount: 3
Memory usage 2.71 MB

=== Event write ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57803762
Event size: 54
Table: test4
Affected columns: 3
Changed rows: 1
Values: Array
(
    [0] => Array
        (
            [id] => 1
            [data] => Hello
            [data2] => World
        )

)

Memory usage 2.74 MB

=== Event xid ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57803793
Event size: 31
Transaction ID: 662802
Memory usage 2.75 MB

=== Event gtid ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57803841
Event size: 48
Commit: true
GTID NEXT: 3403c535-624f-11e7-9940-0800275713ee:13678
Memory usage 2.75 MB

=== Event query ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57803930
Event size: 89
Database: php_mysql_replication
Execution time: 0
Query: BEGIN
Memory usage 2.76 MB

=== Event tableMap ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57804001
Event size: 71
Table: test4
Database: php_mysql_replication
Table Id: 866
Columns amount: 3
Memory usage 2.75 MB

=== Event update ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57804075
Event size: 74
Table: test4
Affected columns: 3
Changed rows: 1
Values: Array
(
    [0] => Array
        (
            [before] => Array
                (
                    [id] => 1
                    [data] => Hello
                    [data2] => World
                )

            [after] => Array
                (
                    [id] => 1
                    [data] => World
                    [data2] => Hello
                )

        )

)

Memory usage 2.76 MB

=== Event xid ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57804106
Event size: 31
Transaction ID: 662803
Memory usage 2.76 MB

=== Event gtid ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57804154
Event size: 48
Commit: true
GTID NEXT: 3403c535-624f-11e7-9940-0800275713ee:13679
Memory usage 2.76 MB

=== Event query ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57804243
Event size: 89
Database: php_mysql_replication
Execution time: 0
Query: BEGIN
Memory usage 2.76 MB

=== Event tableMap ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57804314
Event size: 71
Table: test4
Database: php_mysql_replication
Table Id: 866
Columns amount: 3
Memory usage 2.76 MB

=== Event delete ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57804368
Event size: 54
Table: test4
Affected columns: 3
Changed rows: 1
Values: Array
(
    [0] => Array
        (
            [id] => 1
            [data] => World
            [data2] => Hello
        )

)

Memory usage 2.77 MB

=== Event xid ===
Date: 2017-07-06T15:23:44+00:00
Log position: 57804399
Event size: 31
Transaction ID: 662804
Memory usage 2.77 MB

基准测试

在虚拟机上进行了测试

Debian 8.7
PHP 5.6.30
Percona 5.6.35

inxi
CPU(s)~4 Single core Intel Core i5-2500Ks (-SMP-) clocked at 5901 Mhz Kernel~3.16.0-4-amd64 x86_64 Up~1 day Mem~1340.3/1996.9MB HDD~41.9GB(27.7% used) Procs~122 Client~Shell inxi~2.1.28

php example/benchmark.php
Start insert data
7442 event by seconds (1000 total)
7679 event by seconds (2000 total)
7914 event by seconds (3000 total)
7904 event by seconds (4000 total)
7965 event by seconds (5000 total)
8006 event by seconds (6000 total)
8048 event by seconds (7000 total)
8038 event by seconds (8000 total)
8040 event by seconds (9000 total)
8055 event by seconds (10000 total)
8058 event by seconds (11000 total)
8071 event by seconds (12000 total)

常见问题解答

  1. 何时以及为什么需要 php-mysql-replication ？

首先，MySQL 不提供异步调用。您通常需要通过事件分发和添加到某些队列系统来在应用程序中编程此功能（如果您的数据库有多个入口点，如 Web、后端和其他微服务，则向所有这些添加处理并不总是便宜的）。但是，使用 MySQL 复制协议，您可以监听写事件并异步处理它们（最佳组合是将项目添加到某些队列系统，如 rabbitmq、redis 或 kafka）。此外，在无效化缓存、搜索引擎复制、实时分析和审计方面。

  1. 这很棒！但是有什么问题吗？

首先，您需要知道，可能会有很多事件通过，例如，如果您在表 "bar" 中更新了 1,000,000 条记录，并且您需要从表 "foo" 中的这一条插入，那么所有这些都必须由脚本处理，并且您需要等待数据。这是正常的，这就是它的工作方式。您可以使用配置选项来加快速度。另外，如果脚本崩溃，您需要不时地保存从 binlog（或 GTID）的位置，以便在再次运行此脚本时从这个位置开始，以避免重复。

  1. 我需要处理 1,000,000 条记录，但这需要花费很长时间！！

如我之前提到的，使用队列系统，如 rabbitmq、redis 或 kafka，它们将使您能够以多脚本处理数据。

  1. 我遇到了问题？你的脚本缺失了一些东西！我已经发现了一个错误！

创建一个问题，我将在业余时间尝试解决这个问题 :)

  1. 它会给 MYSQL 服务器带来多大的开销？

它像其他任何 MYSQL 从机一样工作，并提供了相同的工作量。

  1. 套接字超时错误

为了修复此问题，最好是增加 db 配置的 net_read_timeout 和 net_write_timeout 到 3600。（感谢 Bijimon）

  1. 部分更新修复

在 my.conf 中设置 binlog_row_image=full 以修复只接收部分更新的问题。

  1. 连接到副本服务器时没有复制事件

在 my.conf 中设置 log_slave_updates=on 以修复此问题（#71）（#66）

  1. "大"更新/插入

默认 MYSQL 设置生成一个大的流块，这需要更多的 RAM/CPU，您可以使用变量 binlog_row_event_max_size [ https://dev.mysqlserver.cn/doc/refman/8.0/en/replication-options-binary-log.html#sysvar_binlog_row_event_max_size ] 来将其拆分为更小的块。