1、MySQL 数据库高可用架构设计目标：MySQL 数据库服务器不受单点宕机的影响，即时 A 服务器挂掉或者磁盘损坏物理故障导致数据库不可用也不会导致整个系统处于不可用状态，因为还有另外一台备用的数据库服务器可以提供服务。派宝箱采取方案双机主从热备 (Mater Slave 模式)背景：双机热备的概念简单说一下，就是要保持两个数据库的状态自动同步。对任何一个数据库的操作都自动应用到另外一个数据库，始终保持两个数据库数据一致。 这样做的好处: 1. 可以做灾备，其中一个坏了可以切换到另一个。2. 可以做负载均衡，可以将请求分摊到其中任何一台上，提高网站吞吐量。 对于异地热备，尤其适合灾备。原理：M
2、ySQL Replication 双机热备 + 每天自动 sqldump 出物理文件备份双机主从自动热备实现数据库服务的高可用加 sqldump 导出数据文件的方式备份。双重保险！可能遇到的问题与挑战：主从数据库数据一致性问题宕机后主从切换的问题1 复制概述Mysql 内建的复制功能(MySQL REPLICATION )是构建大型，高性能应用程序的基础。将 Mysql 的数据分布到多个系统上去，这种分布的机制，是通过将 Mysql 的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更新写
3、入二进制日志文件，并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从服务器的更新。当一个从服务器连接主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新，然后封锁并等待主服务器通知新的更新。请注意当你进行复制时，所有对复制中的表的更新必须在主服务器上进行。否则，你必须要小心，以避免用户对主服务器上的表进行的更新与对从服务器上的表所进行的更新之间的冲突。1.1 mysql 支持的复制类型：（）：基于语句的复制： 在主服务器上执行的 SQL 语句，在从服务器上执行同样的语句。MySQL 默认采用基于语句的复制，效率比较高。 一旦发现没
4、法精确复制时， 会自动选着基于行的复制。 （）：基于行的复制：把改变的内容复制过去，而不是把命令在从服务器上执行一遍. 从 mysql5.0 开始支持（）：混合类型的复制: 默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。1.2 . 复制解决的问题MySQL 复制技术有以下一些特点：(1) 数据分布 (Data distribution )(2) 负载平衡 (load balancing)(3) 备份 (Backups) (4) 高可用性和容错行 High availability and failover 1.3 复制如何工作 整体上来说，复制有 3 个步骤
5、： (1) master 将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events）；(2) slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)；(3) slave 重做中继日志中的事件，将改变反映它自己的数据。下图描述了复制的过程：该过程的第一部分就是 master 记录二进制日志。在每个事务更新数据完成之前，master 在二日志记录这些改变。 MySQL 将事务串行的写入二进制日志，即使事务中的语句都是交叉执行的。在事件写入二进制日志完成后，master 通知存储引擎提交事
6、务。下一步就是 slave 将 master 的 binary log 拷贝到它自己的中继日志。首先， slave 开始一个工作线程I/O 线程。I/O 线程在 master 上打开一个普通的连接，然后开始 binlog dump process。Binlog dump process 从 master 的二进制日志中读取事件，如果已经跟上 master，它会睡眠并等待 master 产生新的事件。 I/O 线程将这些事件写入中继日志。SQL slave thread（SQL 从线程）处理该过程的最后一步。SQL 线程从中继日志读取事件，并重放其中的事件而更新 slave 的数据，使其与 ma
7、ster 中的数据一致。只要该线程与 I/O 线程保持一致，中继日志通常会位于 OS 的缓存中，所以中继日志的开销很小。此外，在 master 中也有一个工作线程：和其它 MySQL 的连接一样，slave 在 master 中打开一个连接也会使得 master 开始一个线程。复制过程有一个很重要的限制 复制在 slave上是串行化的，也就是说 master 上的并行更新操作不能在 slave 上并行操作。2 .复制配置有两台 MySQL 数据库服务器 Master 和 slave，Master 为主服务器， slave 为从服务器，初始状态时，Master 和 slave 中的数据信息相同，
8、当 Master 中的数据发生变化时，slave 也跟着发生相应的变化，使得 master 和 slave 的数据信息同步，达到备份的目的。要点：负责在主、从服务器传输各种修改动作的媒介是主服务器的二进制变更日志，这个日志记载着需要传输给从服务器的各种修改动作。因此，主服务器必须激活二进制日志功能。从服务器必须具备足以让它连接主服务器并请求主服务器把二进制变更日志传输给它的权限。环境：Master 和 slave 的 MySQL 数据库版本同为 5.0.18操作系统：unbuntu 11.10IP 地址：10.100.0.1002.1、创建复制帐号1、在 Master 的数据库中建立一个备份帐
9、户：每个 slave 使用标准的 MySQL 用户名和密码连接master。进行复制操作的用户会授予 REPLICATION SLAVE 权限。用户名的密码都会存储在文本文件 master.info 中命令如下：mysql GRANT REPLICATION SLAVE,RELOAD,SUPER ON *.* TO backup10.100.0.200 IDENTIFIED BY 1234;建立一个帐户 backup，并且只能允许从 10.100.0.200 这个地址上来登陆，密码是 1234。(如果因为 mysql 版本新旧密码算法不同，可以设置：set password for backu
10、p10.100.0.200=old_password(1234)）2.2、拷贝数据（假如是你完全新安装 mysql 主从服务器，这个一步就不需要。因为新安装的 master 和 slave有相同的数据）关停 Master 服务器，将 Master 中的数据拷贝到 B 服务器中，使得 Master 和 slave 中的数据同步，并且确保在全部设置操作结束前，禁止在 Master 和 slave 服务器中进行写操作，使得两数据库中的数据一定要相同！2.3、配置 master接下来对 master 进行配置，包括打开二进制日志，指定唯一的 servr ID。例如，在配置文件加入如下值：server-
11、id=1log-bin=mysql-binserver-id：为主服务器 A 的 ID 值log-bin：二进制变更日值重启 master，运行 SHOW MASTER STATUS，输出如下：2.4、配置 slaveSlave 的配置与 master 类似，你同样需要重启 slave 的 MySQL。如下：log_bin = mysql-binserver_id = 2relay_log = mysql-relay-binlog_slave_updates = 1read_only = 1server_id 是必须的，而且唯一。slave 没有必要开启二进制日志，但是在一些情况下，必须设置，
12、例如，如果 slave 为其它 slave 的 master，必须设置 bin_log。在这里，我们开启了二进制日志，而且显示的命名(默认名称为 hostname，但是，如果 hostname 改变则会出现问题)。relay_log 配置中继日志，log_slave_updates 表示 slave 将复制事件写进自己的二进制日志(后面会看到它的用处)。有些人开启了 slave 的二进制日志，却没有设置 log_slave_updates，然后查看 slave 的数据是否改变，这是一种错误的配置。所以，尽量使用 read_only，它防止改变数据(除了特殊的线程)。但是，read_only 并
13、是很实用，特别是那些需要在 slave 上创建表的应用。2.5、启动 slave接下来就是让 slave 连接 master，并开始重做 master 二进制日志中的事件。你不应该用配置文件进行该操作，而应该使用 CHANGE MASTER TO 语句，该语句可以完全取代对配置文件的修改，而且它可以为 slave 指定不同的 master，而不需要停止服务器。如下：mysql CHANGE MASTER TO MASTER_HOST=server1,- MASTER_USER=repl,- MASTER_PASSWORD=p4ssword,- MASTER_LOG_FILE=mysql-bin
14、.000001,- MASTER_LOG_POS=0;MASTER_LOG_POS 的值为 0，因为它是日志的开始位置。你可以用 SHOW SLAVE STATUS 语句查看 slave 的设置是否正确：mysql SHOW SLAVE STATUSG* 1. row *Slave_IO_State:Master_Host: server1Master_User: replMaster_Port: 3306Connect_Retry: 60Master_Log_File: mysql-bin.000001Read_Master_Log_Pos: 4Relay_Log_File: mysql-r
15、elay-bin.000001Relay_Log_Pos: 4Relay_Master_Log_File: mysql-bin.000001Slave_IO_Running: NoSlave_SQL_Running: No.omitted.Seconds_Behind_Master: NULLSlave_IO_State, Slave_IO_Running, 和 Slave_SQL_Running 是 No表明 slave 还没有开始复制过程。日志的位置为 4 而不是 0，这是因为 0 只是日志文件的开始位置，并不是日志位置。实际上，MySQL 知道的第一个事件的位置是 4。为了开始复制，你可
16、以运行：mysql START SLAVE;运行 SHOW SLAVE STATUS 查看输出结果：mysql SHOW SLAVE STATUSG* 1. row *Slave_IO_State: Waiting for master to send eventMaster_Host: server1Master_User: replMaster_Port: 3306Connect_Retry: 60Master_Log_File: mysql-bin.000001Read_Master_Log_Pos: 164Relay_Log_File: mysql-relay-bin.000001Re
17、lay_Log_Pos: 164Relay_Master_Log_File: mysql-bin.000001Slave_IO_Running: YesSlave_SQL_Running: Yes.omitted.Seconds_Behind_Master: 0在这里主要是看:Slave_IO_Running=YesSlave_SQL_Running=Yesslave 的 I/O 和 SQL 线程都已经开始运行，而且 Seconds_Behind_Master 不再是 NULL。日志的位置增加了，意味着一些事件被获取并执行了。如果你在 master 上进行修改，你可以在 slave上看到各种日
18、志文件的位置的变化，同样，你也可以看到数据库中数据的变化。你可查看 master 和 slave 上线程的状态。在 master 上，你可以看到 slave 的 I/O 线程创建的连接：在 master 上输入 show processlistG;mysql show processlist G* 1. row *Id: 1User: rootHost: localhost:2096db: testCommand: QueryTime: 0State: NULLInfo: show processlist* 2. row *Id: 2User: replHost: localhost:2144
19、db: NULLCommand: Binlog DumpTime: 1838State: Has sent all binlog to slave; waiting for binlog to be updatedInfo: NULL2 rows in set (0.00 sec)行 2 为处理 slave 的 I/O 线程的连接。在 slave 服务器上运行该语句：mysql show processlist G* 1. row *Id: 1User: system userHost:db: NULLCommand: ConnectTime: 2291State: Waiting for m
20、aster to send eventInfo: NULL* 2. row *Id: 2User: system userHost:db: NULLCommand: ConnectTime: 1852State: Has read all relay log; waiting for the slave I/O thread to update itInfo: NULL* 3. row *Id: 5User: rootHost: localhost:2152db: testCommand: QueryTime: 0State: NULLInfo: show processlist3 rows
21、in set (0.00 sec)行 1 为 I/O 线程状态，行 2 为 SQL 线程状态。问题与挑战之 主从数据库一致性问题MYSQL 复制不同步的原因mysql replication（复制）采用 binlog 进行网络传输，所以网络延时是产生 mysql 主从不同步的主要原因，这会给我们进行主从复制读写分离带来一定困难为了避免这种情况，在配置服务器的时候推荐使用 INNODB 存储引擎的表，在主机上可以设置 sync_binlog下面内容摘抄自MYSQL 行调优和架构设计“sync_binlog”：这个参数是对于 MySQL 系统来说是至关重要的，他不仅影响到 Binlog 对 MyS
22、QL 所带来的性能损耗，而且还影响到 MySQL 中数据的完整性。对“sync_binlog”参数的各种设置的说明如下： sync_binlog=0，当事务提交之后，MySQL 不做 fsync 之类的磁盘同步指令刷新 binlog_cache 中的信息到磁盘，而让 Filesystem 自行决定什么时候来做同步，或者 cache 满了之后才同步到磁盘。 sync_binlog=n，当每进行 n 次事务提交之后，MySQL 将进行一次 fsync 之类的磁盘同步指令来将 binlog_cache 中的数据强制写入磁盘。在 MySQL 中系统默认的设置是 sync_binlog=0，也就是不做任
23、何强制性的磁盘刷新指令，这时候的性能是最好的，但是风险也是最大的。因为一旦系统 Crash，在 binlog_cache 中的所有 binlog 信息都会被丢失。而当设置为“1”的时候，是最安全但是性能损耗最大的设置。因为当设置为 1 的时候，即使系统 Crash，也最多丢失 binlog_cache 中未完成的一个事务，对实际数据没有任何实质性影响。从以往经验和相关测试来看，对于高并发事务的系统来说，“sync_binlog”设置为 0 和设置为 1 的系统写入性能差距可能高达 5 倍甚至更多。如果 master 主机上的 max_allowed_packet比较大，但是从机上没有配置该值的
24、话，该参数还是使用默认值 1MB 此时很有可能导致同步失败，建议主从两台机器都设为 5MB 比较合适1.配置优化在 MySQL 中，一次事务提交后，需要写 undo、写 redo、写 binlog，写数据文件等等。在这个过程中，可能在某个步骤发生 crash，就有可能导致主从数据的不一致。为了避免这种情况，我们需要调整主从上面相关选项配置，确保即便发生 crash 了，也不能发生主从复制的数据丢失。1.1 在 master 上修改配置innodb_flush_log_at_trx_commit = 1sync_binlog = 1上述两个选项的作用是：保证每次事务提交后，都能实时刷新到磁盘中，
25、尤其是确保每次事务对应的 binlog 都能及时刷新到磁盘中，只要有了 binlog，InnoDB 就有办法做数据恢复，不至于导致主从复制的数据丢失。1.2 在 slave 上修改配置master_info_repository = “TABLE“relay_log_info_repository = “TABLE“relay_log_recovery = 1上述前两个选项的作用是：确保在 slave 上和复制相关的元数据表也采用 InnoDB 引擎，受到 InnoDB 事务安全的保护，而后一个选项的作用是开启 relay log 自动修复机制，发生 crash 时，会自动判断哪些 relay
26、 log 需要重新从 master 上抓取回来再次应用，以此避免部分数据丢失的可能性。通过上面几个选项的调整，就可以确保主从复制数据不会发生丢失了。但是，这并不能保证主从数据的绝对一致性，因为，有可能设置了 ignoredorewrite 等 replication 规则，或者某些 SQL 本身存在不确定因素，或者人为在 slave 上修改数据，最终导致主从数据不一致。这种情况下，可以采用 pt-table-checksum 和 pt-table-sync 工具来进行数据的校验和修复。2. 一致性检测和修复工具pt-table-checksum 和 pt-table-sync问题与挑战之 主从
27、切换1 正常切换1）从服务器检查 SHOW PROCESSLIST 语句的输出，直到你看到 Has read all relaylogwaiting for the slave I/O thread to update it2）确保从服务器已经处理了日志中的所有语句。 mysql STOP SLAVE IO_THREAD当从服务器都执行完这些，它们可以被重新配置为一个新的设置。3）在被提升为主服务器的从服务器上，发出 STOP SLAVE 和 RESET MASTER 和 RESET SLAVE 操作。4）然后重启 mysql 服务。5）在备用服务器（新的主服务器）创建用户 grant rep
28、lication slave on *.* torepdcsIP of A identified by replpwdgrant allprivileges on *.* to repdcsIP identified by replpwd;6) 在主服务器上 RESET MASTER。然后 CHANGE MASTER TOMASTER_HOST=原从服务器IP,MASTER_USER=用户名,MASTER_PASSWORD=密码 ,master_log_file=master-bin.000015 ;7)查看状态 show slave status G;Show master status G;如果还不行再次重启主库，并在备库上执行 CHANGE MASTER TOMASTER_HOST=192.168.0.110,MASTER_USER=repdcs,MASTER_PASSWORD=111111,master_log_file=mysqlbin.000002;8）修改应用的连接地址到新的主库切换完成。2 主机直接宕机1 在备机上执行 STOP SLAVE 和 RESET MASTER2 查看 show slave status G;3 然后修改应用的连接地址。一般大部分切换为直接宕机主机已经没法提供服务
