DBA学习

无故障率 故障时间 解决方案 99.9% 0.1%（525.6min） keepalived+双主架构，但需要人为干预 99.99% 0.01%（52.56min） MHA ORCH TMHA，具有自动监控，自动切换，自动数据补偿，但还是属于半自动化 比较适合非金融类互联网公司 eg: facebook taobao前端-TMHA–>polaradb 99.999% 0.001%（5.256min） PXC MGR MGC，数据是高一致性 比较适合金融类互联网公司 99.9999% 0.0001%（0.5256min） 自动化、云计算化、平台化，仍然属于概念阶段 基础章节-01-MySQL数据库服务中级课程 1.00 课程知识章节说明 目前在互联网的实际应用中，各个企业都会比较关注自身网站的数据信息，既要保证数据信息的安全性，同时也要保证数据存储读取效率 并且在特殊的场景下，还要对存储的数据信息进行检索和分析；因此数据库服务业务已经在各行各业应用非常的广泛 对于互联网领域的技术人员，对于数据库服务知识的掌握，也将是在求职时必备的技能，有些时候还会绝对入职的定级和薪资水平。 1.15 数据库服务冗余架构 1.15.1 数据库服务高可用前言介绍 数据库中的高可用功能，主要是用于避免数据库服务或数据信息的损坏问题，其中数据损坏的类型有： 数据物理损坏：磁盘、主机、程序实例、数据文件误删除 数据逻辑损坏：drop update … 其中，数据库高可用技术的出现主要解决的是数据逻辑损坏问题，而主从架构技术主要解决的是数据物理损坏问题； 数据库高可用解决方案选型依据：（全年无故障率） 1.15.2 数据库服务高可用软件介绍 MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton研发， 此人目前就职于Facebook公司，MHA是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。 MySQL进行故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换过程中； MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。 MHA主要有两部分组成： MHA Manager（管理节点） 可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave上。 MHA Node（数据节点） 运行在每台MySQL服务器上 MHA Manager 会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master； 然后将所有其他的slave重新指向新的master，整个故障转移过程对应用程序是完全透明的； MHA软件结构介绍：（MHA中的所有组件就是perl语言编写的功能脚本） 节点信息 软件组件 作用介绍 MHA Manager（管理节点） masterha_manger 用于启动MHA masterha_check_ssh 用于检查MHA的SSH配置互信状况 ...

基础章节-01-MySQL数据库服务中级课程 1.00 课程知识章节说明 目前在互联网的实际应用中，各个企业都会比较关注自身网站的数据信息，既要保证数据信息的安全性，同时也要保证数据存储读取效率 并且在特殊的场景下，还要对存储的数据信息进行检索和分析；因此数据库服务业务已经在各行各业应用非常的广泛 对于互联网领域的技术人员，对于数据库服务知识的掌握，也将是在求职时必备的技能，有些时候还会绝对入职的定级和薪资水平。 1.15 数据库服务冗余架构 1.15.1 数据库服务高可用前言介绍 数据库中的高可用功能，主要是用于避免数据库服务或数据信息的损坏问题，其中数据损坏的类型有： 数据物理损坏：磁盘、主机、程序实例、数据文件误删除 数据逻辑损坏：drop update … 其中，数据库高可用技术的出现主要解决的是数据逻辑损坏问题，而主从架构技术主要解决的是数据物理损坏问题； 数据库高可用解决方案选型依据：（全年无故障率） 无故障率 故障时间解决方案 99.9% 0.1%（525.6min）keepalived+双主架构，但需要人为干预 MHA ORCH TMHA，具有自动监控，自动切换，自动数据补偿，但还是属于半自动化 99.99% 0.01%（52.56min） 比较适合非金融类互联网公司 eg: facebook taobao前端-TMHA–>polaradb PXC MGR MGC，数据是高一致性 99.999% 0.001%（5.256min） 比较适合金融类互联网公司 99.9999% 0.0001%（0.5256min）自动化、云计算化、平台化，仍然属于概念阶段 1.15.2 数据库服务高可用软件介绍 MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton研发， 此人目前就职于Facebook公司，MHA是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。 MySQL进行故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换过程中； MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。 MHA主要有两部分组成： MHA Manager（管理节点） 可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave上。 MHA Node（数据节点） 运行在每台MySQL服务器上 MHA Manager 会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master； 然后将所有其他的slave重新指向新的master，整个故障转移过程对应用程序是完全透明的； MHA软件结构介绍：（MHA中的所有组件就是perl语言编写的功能脚本） 节点信息 软件组件 作用介绍 MHA Manager（管理节点 ）masterha_manger 用于启动MHA masterha_check_ssh 用于检查MHA的SSH配置互信状况 masterha_check_repl 用于检查MySQL复制状态，以及配置信息 masterha_master_monitor 用于检测master是否宕机 masterha_check_status 用于检测当前MHA运行状态 masterha_master_switch 用于控制故障转移（自动或者手动） masterha_conf_host 添加或删除配置的server信息 MHA Node（数据节点） save_binar y_logs 保存和复制master的二进制日志 apply_diff_relay_logs 识别差异的中继日志事件并将其差异的事件应用于其他slave purge_relay_logs 清除中继日志（不会阻塞SQL线程） 1.15.3 数据库服务高可用环境构建 ① MHA高可用架构基础环境： 为了实现MHA高可用架构构建，需要准备好三节点数据库+GTID复制环境： ...

基础章节-01-MySQL数据库服务中级课程 1.00 课程知识章节说明 目前在互联网的实际应用中，各个企业都会比较关注自身网站的数据信息，既要保证数据信息的安全性，同时也要保证数据存储读取效率 并且在特殊的场景下，还要对存储的数据信息进行检索和分析；因此数据库服务业务已经在各行各业应用非常的广泛 对于互联网领域的技术人员，对于数据库服务知识的掌握，也将是在求职时必备的技能，有些时候还会绝对入职的定级和薪资水平。 1.15 数据库服务冗余架构 1.15.1 数据库服务高可用前言介绍 数据库中的高可用功能，主要是用于避免数据库服务或数据信息的损坏问题，其中数据损坏的类型有： 数据物理损坏：磁盘、主机、程序实例、数据文件误删除 数据逻辑损坏：drop update … 其中，数据库高可用技术的出现主要解决的是数据逻辑损坏问题，而主从架构技术主要解决的是数据物理损坏问题； 数据库高可用解决方案选型依据：（全年无故障率） 无故障率 故障时间解决方案 99.9% 0.1%（525.6min）keepalived+双主架构，但需要人为干预 MHA ORCH TMHA，具有自动监控，自动切换，自动数据补偿，但还是属于半自动化 99.99% 0.01%（52.56min） 比较适合非金融类互联网公司 eg: facebook taobao前端-TMHA–>polaradb PXC MGR MGC，数据是高一致性 99.999% 0.001%（5.256min） 比较适合金融类互联网公司 99.9999% 0.0001%（0.5256min）自动化、云计算化、平台化，仍然属于概念阶段 1.15.2 数据库服务高可用软件介绍 MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton研发， 此人目前就职于Facebook公司，MHA是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。 MySQL进行故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换过程中； MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。 MHA主要有两部分组成： MHA Manager（管理节点） 可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave上。 MHA Node（数据节点） 运行在每台MySQL服务器上 MHA Manager 会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master； 然后将所有其他的slave重新指向新的master，整个故障转移过程对应用程序是完全透明的； MHA软件结构介绍：（MHA中的所有组件就是perl语言编写的功能脚本） 节点信息 软件组件 作用介绍 MHA Manager（管理节点 ）masterha_manger 用于启动MHA masterha_check_ssh 用于检查MHA的SSH配置互信状况 masterha_check_repl 用于检查MySQL复制状态，以及配置信息 masterha_master_monitor 用于检测master是否宕机 masterha_check_status 用于检测当前MHA运行状态 masterha_master_switch 用于控制故障转移（自动或者手动） masterha_conf_host 添加或删除配置的server信息 MHA Node（数据节点） save_binar y_logs 保存和复制master的二进制日志 apply_diff_relay_logs 识别差异的中继日志事件并将其差异的事件应用于其他slave purge_relay_logs 清除中继日志（不会阻塞SQL线程） 1.15.3 数据库服务高可用环境构建 ① MHA高可用架构基础环境： 为了实现MHA高可用架构构建，需要准备好三节点数据库+GTID复制环境： ...

无故障率 故障时间 解决方案 99.9% 0.1%（525.6min） keepalived+双主架构，但需要人为干预 99.99% 0.01%（52.56min） MHA ORCH TMHA，具有自动监控，自动切换，自动数据补偿，但还是属于半自动化 比较适合非金融类互联网公司 eg: facebook taobao前端-TMHA–>polaradb 99.999% 0.001%（5.256min） PXC MGR MGC，数据是高一致性 比较适合金融类互联网公司 99.9999% 0.0001%（0.5256min） 自动化、云计算化、平台化，仍然属于概念阶段 基础章节-01-MySQL数据库服务中级课程 1.00 课程知识章节说明 目前在互联网的实际应用中，各个企业都会比较关注自身网站的数据信息，既要保证数据信息的安全性，同时也要保证数据存储读取效率 并且在特殊的场景下，还要对存储的数据信息进行检索和分析；因此数据库服务业务已经在各行各业应用非常的广泛 对于互联网领域的技术人员，对于数据库服务知识的掌握，也将是在求职时必备的技能，有些时候还会绝对入职的定级和薪资水平。 1.15 数据库服务冗余架构 1.15.1 数据库服务高可用前言介绍 数据库中的高可用功能，主要是用于避免数据库服务或数据信息的损坏问题，其中数据损坏的类型有： 数据物理损坏：磁盘、主机、程序实例、数据文件误删除 数据逻辑损坏：drop update … 其中，数据库高可用技术的出现主要解决的是数据逻辑损坏问题，而主从架构技术主要解决的是数据物理损坏问题； 数据库高可用解决方案选型依据：（全年无故障率） 1.15.2 数据库服务高可用软件介绍 MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton研发， 此人目前就职于Facebook公司，MHA是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。 MySQL进行故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换过程中； MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。 MHA主要有两部分组成： MHA Manager（管理节点） 可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave上。 MHA Node（数据节点） 运行在每台MySQL服务器上 MHA Manager 会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master； 然后将所有其他的slave重新指向新的master，整个故障转移过程对应用程序是完全透明的； MHA软件结构介绍：（MHA中的所有组件就是perl语言编写的功能脚本） 节点信息 软件组件 作用介绍 MHA Manager（管理节点） masterha_manger 用于启动MHA masterha_check_ssh 用于检查MHA的SSH配置互信状况 ...

基础章节-01-MySQL数据库服务中级课程 1.00 课程知识章节说明 目前在互联网的实际应用中，各个企业都会比较关注自身网站的数据信息，既要保证数据信息的安全性，同时也要保证数据存储读取效率 并且在特殊的场景下，还要对存储的数据信息进行检索和分析；因此数据库服务业务已经在各行各业应用非常的广泛 对于互联网领域的技术人员，对于数据库服务知识的掌握，也将是在求职时必备的技能，有些时候还会绝对入职的定级和薪资水平。 1.19 数据库服务分区应用 1.19.1 数据库服务分区概述 MySQL从5.1版本开始支持分区的功能；分区是指根据一定的规则，数据库把一个大表分解成多个更小的、更容易管理的部分； 通俗说明：表分区就是将一个大表，根据条件分割成若干个小表； 日常项目开发中经常会遇到大表的情况，所谓大表是指存储了百万级乃至千万级条记录的表。 这样的表过于庞大，导致数据库在查询和插入的时候耗时太长，性能低下；如果涉及联合查询情况，性能会更加糟糕； 对表进行分区，目的就是减少数据库的负担，提高数据库的效率，通常来讲就是提高表的增删改查效率 分区是将数据分段划分在多个位置存放，可以是同一块磁盘也可以在不同的机器； 分区后，表面上还是一张表，但数据散列到多个位置了； 应用程序读写的时候操作的还是大表名字，数据库系统自动去组织分区的数据 就访问数据库的应用而言，逻辑上只有一个表或一个索引，但是实际上这个表可能由数10个物理分区对象组成； 每个分区都是一个独立的对象，可以独自处理，可以作为表的一部分进行处理 分区对应用来说是完全透明的，不影响应用的业务逻辑 例如：某个用户表的记录超过了600万条会员信息，那么就可以根据入会日期将表分区，也可以根据所在地将表分区； 当然也可以根据其他的条件分区； 为了改善大型表以及具有各种访问模式的表的可伸缩性，可管理性和提高数据库效率，因此具有了对表分区的需求； MySQL分区的优点主要包括以下4个方面： 和单个磁盘或者文件系统分区相比，可以存储更多数据；（ext2分区单个文件2T ext3 ext4分区单个文件16T） 优化查询，在where子句中包含分区条件时，可以只扫描必要的一个或多个分区来提高查询效率； 使一些查询操作可以得到极大的优化； 对于已经过期或者不需要保存的数据，可以通过删除与这些数据有关的分区来快速删除数据； 通过删除与增加那些数据有关的分区，很容易地删除或增加那些数据； 通过跨多个磁盘甚至服务器来分散数据查询，以获得更大的查询吞吐量； 在MySQL5.5之后支持所有函数的分区优化，限定只查询有效数据的分区 同时在涉及SUM()和COUNT()这类聚合函数的查询时，可以容易地在每个分区上并行处理，最终只需要汇总所有分区得到的结果 1.19.2 数据库服务分区技术 分区有利于管理非常大的表，它采用了"分而治之"的逻辑，分区引入了分区键（partition-key）的概念； 分区键用于根据某个区间值（或者范围值）、特定值列表或者HASH函数值执行数据的聚集，让数据根据规则分布在不同的分区中； 最终让一个大对象变成一些小对象。 1.19.3 数据库服务分区类型(mycat 分布式存储策略–分表策略) *** 对于MySQL基本常用的分区类型有：基本分区类型 RANGE分区： 基于属于一个给定连续区间的列值，把多行分配给分区； 1 select count(*) from employees where gender='F'; LIST分区： 类似于按RANGE分区，区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择； HASH分区： 基于用户定义的表达式的返回值来进行选择的分区，该表达式使用将要插入到表中的这些行的列值进行计算； 这个函数可以包含MySQL中有效的，产生非负整数值的任何表达式 KEY分区： 类似于按HASH分区，区别在于KEY分区只支持计算一列或多列，且MySQL服务器提供其自身的哈希函数。必须有一列或多列包含整数值 实战演示分区操作：RANGE分区 基于属于一个给定连续区间的列值，把多行分配给分区； 这些区间要连续且不能相互重叠，使用values less than操作符来进行定义 创建分区操作：在创建表的过程中也可以直接创建分区 例如：将用户表按照年龄每个10岁进行分区； 注意：分区的名字基本上遵循其他MySQL标识符应当遵循的原则，但是分区的名字是不区分大小写的； 在数据表进行分区操作后，会发现表的空间文件发生了拆分变化； ...

基础章节-01-MySQL数据库服务中级课程 1.00 课程知识章节说明 目前在互联网的实际应用中，各个企业都会比较关注自身网站的数据信息，既要保证数据信息的安全性，同时也要保证数据存储读取效率 并且在特殊的场景下，还要对存储的数据信息进行检索和分析；因此数据库服务业务已经在各行各业应用非常的广泛 对于互联网领域的技术人员，对于数据库服务知识的掌握，也将是在求职时必备的技能，有些时候还会绝对入职的定级和薪资水平。 1.19 数据库服务分区应用 1.19.1 数据库服务分区概述 MySQL从5.1版本开始支持分区的功能；分区是指根据一定的规则，数据库把一个大表分解成多个更小的、更容易管理的部分； 通俗说明：表分区就是将一个大表，根据条件分割成若干个小表； 日常项目开发中经常会遇到大表的情况，所谓大表是指存储了百万级乃至千万级条记录的表。 这样的表过于庞大，导致数据库在查询和插入的时候耗时太长，性能低下；如果涉及联合查询情况，性能会更加糟糕； 对表进行分区，目的就是减少数据库的负担，提高数据库的效率，通常来讲就是提高表的增删改查效率 分区是将数据分段划分在多个位置存放，可以是同一块磁盘也可以在不同的机器； 分区后，表面上还是一张表，但数据散列到多个位置了； 应用程序读写的时候操作的还是大表名字，数据库系统自动去组织分区的数据 就访问数据库的应用而言，逻辑上只有一个表或一个索引，但是实际上这个表可能由数10个物理分区对象组成； 每个分区都是一个独立的对象，可以独自处理，可以作为表的一部分进行处理 分区对应用来说是完全透明的，不影响应用的业务逻辑 例如：某个用户表的记录超过了600万条会员信息，那么就可以根据入会日期将表分区，也可以根据所在地将表分区； 当然也可以根据其他的条件分区； 为了改善大型表以及具有各种访问模式的表的可伸缩性，可管理性和提高数据库效率，因此具有了对表分区的需求； MySQL分区的优点主要包括以下4个方面： 和单个磁盘或者文件系统分区相比，可以存储更多数据；（ext2分区单个文件2T ext3 ext4分区单个文件16T） 优化查询，在where子句中包含分区条件时，可以只扫描必要的一个或多个分区来提高查询效率； 使一些查询操作可以得到极大的优化； 对于已经过期或者不需要保存的数据，可以通过删除与这些数据有关的分区来快速删除数据； 通过删除与增加那些数据有关的分区，很容易地删除或增加那些数据； 通过跨多个磁盘甚至服务器来分散数据查询，以获得更大的查询吞吐量； 在MySQL5.5之后支持所有函数的分区优化，限定只查询有效数据的分区 同时在涉及SUM()和COUNT()这类聚合函数的查询时，可以容易地在每个分区上并行处理，最终只需要汇总所有分区得到的结果 1 select count(*) from employees where gender='F'; 1.19.2 数据库服务分区技术 分区有利于管理非常大的表，它采用了"分而治之"的逻辑，分区引入了分区键（partition-key）的概念； 分区键用于根据某个区间值（或者范围值）、特定值列表或者HASH函数值执行数据的聚集，让数据根据规则分布在不同的分区中； 最终让一个大对象变成一些小对象。 1.19.3 数据库服务分区类型(mycat 分布式存储策略–分表策略) *** 对于MySQL基本常用的分区类型有：基本分区类型 RANGE分区： 基于属于一个给定连续区间的列值，把多行分配给分区； LIST分区： 类似于按RANGE分区，区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择； HASH分区： 基于用户定义的表达式的返回值来进行选择的分区，该表达式使用将要插入到表中的这些行的列值进行计算； 这个函数可以包含MySQL中有效的，产生非负整数值的任何表达式 KEY分区： 类似于按HASH分区，区别在于KEY分区只支持计算一列或多列，且MySQL服务器提供其自身的哈希函数。必须有一列或多列包含整数值 实战演示分区操作：RANGE分区 基于属于一个给定连续区间的列值，把多行分配给分区； 这些区间要连续且不能相互重叠，使用values less than操作符来进行定义 创建分区操作：在创建表的过程中也可以直接创建分区 例如：将用户表按照年龄每个10岁进行分区； ...