Mysqldump

序号 类型 说明 类型01 B+Tree 默认类型索引 类型02 Hash 算法类型索引 类型03 R+Tree 空间类型索引 类型04 Fulltext 全文类型索引 基础章节-01-MySQL数据库服务中级课程 1.00 课程知识章节说明 目前在互联网的实际应用中，各个企业都会比较关注自身网站的数据信息，既要保证数据信息的安全性，同时也要保证数据存储读取效率 并且在特殊的场景下，还要对存储的数据信息进行检索和分析；因此数据库服务业务已经在各行各业应用非常的广泛 对于互联网领域的技术人员，对于数据库服务知识的掌握，也将是在求职时必备的技能，有些时候还会绝对入职的定级和薪资水平。 1.07 数据库服务索引知识 1.7.1 数据库索引相关概念 索引概念介绍： 索引是数据库中用来提高数据读取性能的常用工具，所有mysql列类型都可以被索引，对相关列使用索引； 可以是提高select操作性能的最佳途径，可以尽可能快的锁定要查询数据的范围，从而达到加速查询的目的（减少IO消耗）； 一般索引设置都是应用在比较大的数据表上，比如百万级别、千万级别或亿级别的数据表中，从而完成一些针对性优化； 可以简单理解：数据库索引相当于书的目录，可以借助索引有针对的查看相应数据的信息，避免了全盘检索带来的工作量； 主要利用MySQL中的索引，可以快速锁定查询范围，mysql索引比较适合范围查找数据; 1.7.2 数据库索引类型介绍 在MySQL数据库服务中，是有很多种索引类型的，但是比较常用的索引类型主要有： 数据库数据查找算法演变：（B+Tree索引的由来） 这个举个简单的例子，假设现在一个教室中有100来号人，这时可以派发礼品，通过礼品引诱这100人来报名学习xiaoQ老师课程； 比如礼品是学习课程的1000元代金券，现在把这1000元的代金券随机放到了1到100号盒子其中的一个里面，只有我知道放置的号码； 下面要求这100个人尽量快的猜到1~100号盒子里面，哪个有放置代金券的盒子，当然，我会给予一些合适的提示信息； 这时在场的100号人就需要想一些办法，在我合适的配合下，定位有代金券的盒子，想的办法就等价于是查找算法： 方法一：根据定位的盒子编号顺序，询问是与否，这种方式就可以理解为是遍历算法（全扫描），也可以理解为随机性算法； 方法二：根据定位的盒子编号比较，询问大于小，这种方式就可以理解为是二分算法（定范围），也可以理解为二叉树算法； 看似这种二分算法比遍历算法，更加科学，但是如果代金券放在了第01号或第100号盒子里呢，或者二分节点两侧时呢？ 所以采用二分法依然会存在数据查询不平衡的问题。 通过以上两种算法的介绍，了解到都存在一些缺陷或问题，因此数据库在检索数据信息时，最终采用的算法是B+Tree，其中的B表示平衡 并且BTREE还可以细分为B-tree或B+tree，以及B++tree，其中的加号就是表示增强版或优化版的BTree； 在讲解B+树之前先了解一下树的整体结构，无非就是二叉树、二叉搜索树、平衡二叉树，更高级一点的有红黑树、Btree、B+tree等； 而树的查找性能取决于树的高度，让树尽可能平衡是为了降低树的高度。 为什么MySQL会选用B+树的结构，可以先来看看其他的树形结构： 二叉树： 二叉树的每一个节点都只有两个子节点，当需要向其插入更多的数据的时候，就必须要增加树的高度，而增加树的高度会导致IO消耗大； 对于二叉树而言，它的查找操作的时间复杂度就是树的高度，树的高度越高查询性能就会随着数据的增多越来越低。 二叉树节点中，还存在非正常的倾斜（比如ID自增的情况）的二叉树，查询一次数据就相当于全表搜索，因此二叉树的查询性能特别差 红黑树： 红黑树一种平衡二叉树，它复杂的定义和规则都是为了保证树的平衡性； 对于B++tree算法的底层算法逻辑理解： 利用Btree算法还是快速锁定100个盒子中，有代金券的盒子编号，如下图所示： 将需要存储的数据信息，均匀分配保存到对应页当中，最终数据信息的均匀存储（落盘） 根据页节点存储的数据信息，取出页节节点最小数据信息，并将每个叶节点最小数据信息进行汇总整合，生成相应内部节点数据； 实质上存储的是下层页节点的区间范围，以及与之对应的指针信息，最后构建出内部节点信息； 根据内部节点存储的数据信息，取出内部节点最小数据信息，并将每个内部节点最小值信息进行汇总整合，生成相应根节点数据； 根节点只能有占用一个页区域，如果一个页区域空间不够，需要进行内部节点层次扩展，但是尽量要保证层次越少越好； 实质上存储的是下层内部节点的区域范围，以及与之对应的指针信息，最后构建出独立且唯一的根节点信息； 整个树形结构，越向上节点存储数据的范围越大，然后依次再分发数据到下面的小范围，最终形成多叉树； 由于出现了多叉树，就表示全部数据分布在多个链表上，避免了单条链表存储数据，同时可以实现并发的访问数据 对于加号表示增强，其中增强表示在整个链表上，增加了同级相邻节点之间的双向指针，从而实现相邻节点相互跳转 根据以上B+Tree的结构说明，假设现在需要查找54这个数据值信息所在的数据页：等值查询 根据定义查找的数值信息，首先在根节点中获取数值所在的区间范围和相应指针信息，从而找到下层对应的内部节点信息； 根据定义查找的数据信息，其次在枝节点中获取数值所在的区域范围和相应指针信息，从而找到下层对应的叶子节点信息； 根据定义查找的数据信息，最后在叶子节点中获取最终的数据信息，结果结合上图经历三步完成了数据查找（3*16=48kB）； 在利用BTree查找数据信息时，会结合树形层次结构，来决定查询数据的步骤过程，并且理论上每个数据查找过程步骤相同； 总结：B代表的平衡含义就是，每次查找数据消耗的IO数量是一致的，并且读取的页数量也是一致的，查找时间复杂度是一致的； ...

基础章节-01-MySQL数据库服务中级课程 1.00 课程知识章节说明 目前在互联网的实际应用中，各个企业都会比较关注自身网站的数据信息，既要保证数据信息的安全性，同时也要保证数据存储读取效率 并且在特殊的场景下，还要对存储的数据信息进行检索和分析；因此数据库服务业务已经在各行各业应用非常的广泛 对于互联网领域的技术人员，对于数据库服务知识的掌握，也将是在求职时必备的技能，有些时候还会绝对入职的定级和薪资水平。 1.10 数据库服务事务知识 1.10.1 数据库存储事务机制概念 事务(Transaction)可以更通俗的理解为交易，所以事务会伴随着交易类的业务类型出现的概念（工作模式）； 现实生活中存在很多的交易行为，比如：物换物的等价交换、货币换物的等价交换、虚拟货币换物(虚拟物品)的等价交换； 因此就需要考虑如何保证现实生活中交易过程的和谐，一般会有法律、道德等方面规则进行约束； 而在数据库服务中为了保证线上交易的"和谐"，便加入了"事务"工作机制 1.10.2 数据库存储事务机制特性 在数据库服务中引入事务机制概念，主要是为了应用事务机制的相关特性处理安全一致性问题，其中事务机制主要包含的特性有： 特性一：原子性（Atomicity） 原子性表示一个事务生命周期中的DML语句，要么全成功要么全失败，不可以出现中间状态； 语句要么全执行，要么全不执行，是事务最核心的特性，事务本身就是以原子性来定义的；实现主要基于undo log 1 Begin：DML01 DML02 DML03 Commit; 特性二：一致性（Consistency） 一致性表示一个事务发生前、中、后，数据都最终保持一致，即读和写都要保证一致性； 事务追求的最终目标，一致性的实现既需要数据库层面的保障，也需要应用层面的保障； 1 CR + Double write 特性三：隔离性（Isolation） 隔离性表示一个事务操作数据行的时候，不会受到其他事务的影响，主要利用锁机制来保证隔离性； 特性四：持久性（Durability） 持久性表示一旦事务进行了提交，即可永久生效（落盘） 保证事务提交后不会因为宕机等原因导致数据丢失；实现主要基于redo log 事务ACID相关知识官方说明：https://dev.mysql.com/doc/refman/8.0/en/mysql-acid.html 1.10.3 数据库存储事务生命周期 在运用事务机制完成相关工作任务时，对于事务使用是存在生命周期概念的，标准显示的事务生命周期控制语句有： 1 2 3 4 5 6 7 # 开启事务机制 begin; start transaction; # 提交事务任务 commit; # 回滚事务操作 rollback; 说明：事务生命周期中，只能使用DML语句，其中包括：select、update、delete、insert；DDL语句会隐式进行提交 事务的生命周期操作演示： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 # 进行测试数据库查询数据 mysql> use world; mysql> select * from city limit 10; # 进行测试数据库数据撤销修改 mysql> begin; mysql> update city set population=10 where id=1; mysql> update city set population=10 where id=2; -- 由于是采用事务进行的修改，所以只是在内存层面进行的修改，并没有对磁盘上的数据进行修改； mysql> select * from city limit 10; -- 由于是采用事务进行的修改，此时看到的数据信息只是内存层面的修改信息 mysql> rollback; -- 由于是采用事务进行的撤销，会读取undo文件信息，将事务操作撤回到事务开始前的状态 mysql> select * from city limit 10; -- 由于是采用事务进行的修改，当撤销操作执行完，看到数据信息还是原来的； # 进行测试数据库数据永久修改 mysql> begin; mysql> update city set population=10 where id=1; mysql> update city set population=10 where id=2; -- 由于是采用事务进行的修改，所以只是在内存层面进行的修改，并没有对磁盘上的数据进行修改； mysql> select * from city limit 10; -- 由于是采用事务进行的修改，此时看到的数据信息只是内存层面的修改信息 mysql> commit; -- 由于是采用事务进行的提交，会加载redo文件信息，将事务内存层面的修改同步到磁盘中（完成了D特性） mysql> select * from city limit 10; -- 由于是采用事务进行的修改，当执行操作执行完，看到数据信息将永久保存下载； 1.10.4 数据库存储事务提交方式 方式一：在事务生命周期管理过程中，事务的提交机制可以采用自动提交方式（auto_commit） 事务自动提交方式作用说明： 事务自动提交表示在没有显示的使用begin 语句的时候，执行DML操作语句时，会在DML操作语句前自动添加begin ； 并在DML操作语句执行后自动添加commit ； 在生产环境中，若处于频繁事务业务场景中，建议关闭autocommit自动提交功能，或者每次事务执行的时候； 都进行显示的执行begin 和commit 事务自动提交方式参数信息： ...

前言 在 MySQL 备份实践中，mysqldump --single-transaction --master-data=2 是最常见的组合。但很多 DBA 只知道"这样用不锁表"，却不清楚底层原理。今天我们深入剖析这两个参数的工作机制，以及为什么它们必须配合使用。 一、MVCC 可见性规则（理论基础） 在理解 --single-transaction 之前，必须先掌握 InnoDB 的 MVCC 机制。 1.1 Read View 结构 当事务执行 START TRANSACTION WITH CONSISTENT SNAPSHOT 时，InnoDB 会创建一个 Read View： 1 2 3 4 5 6 7 struct read_view_t { trx_id_t m_low_limit_id; // 系统中尚未分配的最小事务ID（当前最大事务ID + 1） trx_id_t m_up_limit_id; // 活跃事务列表中的最小事务ID trx_id_t m_creator_trx_id; // 创建此 Read View 的事务ID trx_id_t *m_ids; // 创建 Read View 时的活跃事务ID数组（降序） ulint m_n_trx_ids; // 活跃事务数量 }; 注意：InnoDB 的命名反直觉 m_low_limit_id 虽然叫 “low limit”，但实际是最大值（下一个要分配的事务ID） m_up_limit_id 虽然叫 “up limit”，但实际是最小值（最小活跃事务ID） 1.2 可见性判断规则 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 def is_visible(row_trx_id, read_view): # 规则1：如果是当前事务自己修改的，可见 if row_trx_id == read_view.m_creator_trx_id: return True # 规则2：如果行的事务ID < m_up_limit_id（最小活跃事务ID），说明在 Read View 创建前已提交，可见 if row_trx_id < read_view.m_up_limit_id: return True # 规则3：如果行的事务ID >= m_low_limit_id（下一个要分配的ID），说明在 Read View 创建后才开始，不可见 if row_trx_id >= read_view.m_low_limit_id: return False # 规则4：如果在 [m_up_limit_id, m_low_limit_id) 区间内 # 需要检查是否在活跃事务列表 m_ids 中 if row_trx_id in read_view.m_ids: return False # 在活跃列表中，说明创建 Read View 时未提交，不可见 else: return True # 不在活跃列表中，说明已提交，可见 可见性判断示例： ...