基础章节-01-MySQL数据库服务中级课程 1.00 课程知识章节说明 目前在互联网的实际应用中，各个企业都会比较关注自身网站的数据信息，既要保证数据信息的安全性，同时也要保证数据存储读取效率 并且在特殊的场景下，还要对存储的数据信息进行检索和分析；因此数据库服务业务已经在各行各业应用非常的广泛 对于互联网领域的技术人员，对于数据库服务知识的掌握，也将是在求职时必备的技能，有些时候还会绝对入职的定级和薪资水平。 1.10 数据库服务事务知识 1.10.1 数据库存储事务机制概念 事务(Transaction)可以更通俗的理解为交易，所以事务会伴随着交易类的业务类型出现的概念（工作模式）； 现实生活中存在很多的交易行为，比如：物换物的等价交换、货币换物的等价交换、虚拟货币换物(虚拟物品)的等价交换； 因此就需要考虑如何保证现实生活中交易过程的和谐，一般会有法律、道德等方面规则进行约束； 而在数据库服务中为了保证线上交易的"和谐"，便加入了"事务"工作机制 1.10.2 数据库存储事务机制特性 在数据库服务中引入事务机制概念，主要是为了应用事务机制的相关特性处理安全一致性问题，其中事务机制主要包含的特性有： 特性一：原子性（Atomicity） 原子性表示一个事务生命周期中的DML语句，要么全成功要么全失败，不可以出现中间状态； 语句要么全执行，要么全不执行，是事务最核心的特性，事务本身就是以原子性来定义的；实现主要基于undo log 1 Begin：DML01 DML02 DML03 Commit; 特性二：一致性（Consistency） 一致性表示一个事务发生前、中、后，数据都最终保持一致，即读和写都要保证一致性； 事务追求的最终目标，一致性的实现既需要数据库层面的保障，也需要应用层面的保障； 1 CR + Double write 特性三：隔离性（Isolation） 隔离性表示一个事务操作数据行的时候，不会受到其他事务的影响，主要利用锁机制来保证隔离性； 特性四：持久性（Durability） 持久性表示一旦事务进行了提交，即可永久生效（落盘） 保证事务提交后不会因为宕机等原因导致数据丢失；实现主要基于redo log 事务ACID相关知识官方说明：https://dev.mysql.com/doc/refman/8.0/en/mysql-acid.html 1.10.3 数据库存储事务生命周期 在运用事务机制完成相关工作任务时，对于事务使用是存在生命周期概念的，标准显示的事务生命周期控制语句有： 1 2 3 4 5 6 7 # 开启事务机制 begin; start transaction; # 提交事务任务 commit; # 回滚事务操作 rollback; 说明：事务生命周期中，只能使用DML语句，其中包括：select、update、delete、insert；DDL语句会隐式进行提交 事务的生命周期操作演示： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 # 进行测试数据库查询数据 mysql> use world; mysql> select * from city limit 10; # 进行测试数据库数据撤销修改 mysql> begin; mysql> update city set population=10 where id=1; mysql> update city set population=10 where id=2; -- 由于是采用事务进行的修改，所以只是在内存层面进行的修改，并没有对磁盘上的数据进行修改； mysql> select * from city limit 10; -- 由于是采用事务进行的修改，此时看到的数据信息只是内存层面的修改信息 mysql> rollback; -- 由于是采用事务进行的撤销，会读取undo文件信息，将事务操作撤回到事务开始前的状态 mysql> select * from city limit 10; -- 由于是采用事务进行的修改，当撤销操作执行完，看到数据信息还是原来的； # 进行测试数据库数据永久修改 mysql> begin; mysql> update city set population=10 where id=1; mysql> update city set population=10 where id=2; -- 由于是采用事务进行的修改，所以只是在内存层面进行的修改，并没有对磁盘上的数据进行修改； mysql> select * from city limit 10; -- 由于是采用事务进行的修改，此时看到的数据信息只是内存层面的修改信息 mysql> commit; -- 由于是采用事务进行的提交，会加载redo文件信息，将事务内存层面的修改同步到磁盘中（完成了D特性） mysql> select * from city limit 10; -- 由于是采用事务进行的修改，当执行操作执行完，看到数据信息将永久保存下载； 1.10.4 数据库存储事务提交方式 方式一：在事务生命周期管理过程中，事务的提交机制可以采用自动提交方式（auto_commit） ...

基础章节-01-MySQL数据库服务中级课程 1.00 课程知识章节说明 目前在互联网的实际应用中，各个企业都会比较关注自身网站的数据信息，既要保证数据信息的安全性，同时也要保证数据存储读取效率 并且在特殊的场景下，还要对存储的数据信息进行检索和分析；因此数据库服务业务已经在各行各业应用非常的广泛 对于互联网领域的技术人员，对于数据库服务知识的掌握，也将是在求职时必备的技能，有些时候还会绝对入职的定级和薪资水平。 1.09 数据库服务存储引擎 1.9.1 数据库存储引擎概念 存储引擎就是数据库服务中的文件系统，用户可以根据应用的需要选择如何存储和索引数据，是否使用事务等； 1.9.2 数据库存储引擎种类 在各种版本的数据库服务中，是有多种存储引擎可以应用的，以MySQL数据库服务为例，可以使用命令查看可以应用存储引擎： 1 mysql> show engines; 引擎类型信息输出： 在实际场景中，99.9%都是使用innodb存储引擎，并且在最新版8.0数据库中，所有mysql数据库中的表对应的引擎也都改为了innodb； 如果在面试环节中，面试官询问你： 列举出mysql中支持的存储引擎种类：InnoDB、MyISAM、CSV、MEMORY； 列举出mysql分支产品的存储引擎种类：在percone、mariadb数据库中，可能还会应用TokuDB MyRocks Rocksdb存储引擎 从特点上可以支持innodb引擎的特性(支持事务)，并且数据压缩比比较高(15倍)，数据插入性能比较强(5~6倍)； 以上存储引擎就比较适合于zabbix监控类的平台，归档数据、历史数据存储业务等，数据量级比较大的情况； 监控服务部署tokuDB存储引擎参考链接：https://www.cnblogs.com/oldboy-heqing /articles/16891210.html 1.9.3 数据库存储引擎特性 在数据库服务领域，大部分场景下都会使用innodb存储引擎，是因为innodb存储引擎具有一定优秀特性： 序号 特性 解释说明 01 数据访问特性 支持多版本并发控制特性( MVCC ) ，支持行级锁控制并发 02 数据索引特性 支持聚簇索引 /辅助索引特性，可以组织存储数据和优化查询( IOT ) 03 数据事务特性 支持事务概念特性，可以实现数据的安全保证 04 数据缓冲特性 支持多缓冲区功能，自适应 hash 索引( AHI ) 05 数据迁移特性 支持复制数据中的高级功能特性，支持数据备份恢复的热备 06 服务自愈特性 支持自动故障恢复( CR-Crash Recovery ) 07 数据存储特性 支持数据双写机制( Doublewrite ) 数据存储有关的安全机制 zabbix使用的数据版本过低，建议将数据库版本进行升级，因为新版本数据库的原生态环境就比旧版本好些； ...

基础章节-01-MySQL数据库服务中级课程 1.00 课程知识章节说明 目前在互联网的实际应用中，各个企业都会比较关注自身网站的数据信息，既要保证数据信息的安全性，同时也要保证数据存储读取效率 并且在特殊的场景下，还要对存储的数据信息进行检索和分析；因此数据库服务业务已经在各行各业应用非常的广泛 对于互联网领域的技术人员，对于数据库服务知识的掌握，也将是在求职时必备的技能，有些时候还会绝对入职的定级和薪资水平。 1.11 数据库服务日志管理 1.11.1 数据库服务日志概述介绍 任何一种数据库中，都会有各种各样的日志，记录这数据库工作的方方面面，以帮助数据库管理员追踪数据库曾经发生过的各种事件； 主要是针对数据库ser ver层产生的数据信息，主要用于记录和数据库服务运行本身有关的日志、以及SQL语句操作执行相关的日志； 1.11.2 数据库服务日志常用分类 在MySQL数据库服务中，有4种不同的日志是最常用的日志类型，这些日志记录这数据库在不同方面的踪迹； 日志信息查看方法： 1 2 3 4 5 6 7 8 9 10 11 12 13 mysql> show variables like '%log%'; +------------------------------------------------+---------------------------------------------+ | Variable_name | Value | +------------------------------------------------+---------------------------------------------+ | general_log | OFF | | general_log_file | /data/3306/data/xiaoQ-01.log | | log_error | ./xiaoQ-01.edu.err | | log_bin | ON | | log_bin_basename | /data/3306/data/binlog | | log_bin_index | /data/3306/data/binlog.index | | slow_quer y_log | OFF | | slow_quer y_log_file | /data/3306/data/xiaoQ-01-slow.log | +------------------------------------------------+---------------------------------------------+ 常用日志信息介绍： ...

基础章节-01-MySQL数据库服务中级课程 1.00 课程知识章节说明 目前在互联网的实际应用中，各个企业都会比较关注自身网站的数据信息，既要保证数据信息的安全性，同时也要保证数据存储读取效率 并且在特殊的场景下，还要对存储的数据信息进行检索和分析；因此数据库服务业务已经在各行各业应用非常的广泛 对于互联网领域的技术人员，对于数据库服务知识的掌握，也将是在求职时必备的技能，有些时候还会绝对入职的定级和薪资水平。 1.07 数据库服务索引知识 1.7.1 数据库索引相关概念 索引概念介绍： 索引是数据库中用来提高数据读取性能的常用工具，所有mysql列类型都可以被索引，对相关列使用索引； 可以是提高select操作性能的最佳途径，可以尽可能快的锁定要查询数据的范围，从而达到加速查询的目的（减少IO消耗）； 一般索引设置都是应用在比较大的数据表上，比如百万级别、千万级别或亿级别的数据表中，从而完成一些针对性优化； 可以简单理解：数据库索引相当于书的目录，可以借助索引有针对的查看相应数据的信息，避免了全盘检索带来的工作量； 主要利用MySQL中的索引，可以快速锁定查询范围，mysql索引比较适合范围查找数据; 1.7.2 数据库索引类型介绍 在MySQL数据库服务中，是有很多种索引类型的，但是比较常用的索引类型主要有： 序号 类型 说明 类型01 B + Tree 默认类型索引 类型02 Hash 算法类型索引 类型03 R + Tree 空间类型索引 类型04 Fulltext 全文类型索引 通过以上两种算法的介绍，了解到都存在一些缺陷或问题，因此数据库在检索数据信息时，最终采用的算法是B+Tree，其中的B表示平衡 并且BTREE还可以细分为B-tree或B+tree，以及B++tree，其中的加号就是表示增强版或优化版的BTree； 在讲解B+树之前先了解一下树的整体结构，无非就是二叉树、二叉搜索树、平衡二叉树，更高级一点的有红黑树、Btree、B+tree等； 而树的查找性能取决于树的高度，让树尽可能平衡是为了降低树的高度。 为什么MySQL会选用B+树的结构，可以先来看看其他的树形结构： 二叉树： 二叉树的每一个节点都只有两个子节点，当需要向其插入更多的数据的时候，就必须要增加树的高度，而增加树的高度会导致IO消耗大； 对于二叉树而言，它的查找操作的时间复杂度就是树的高度，树的高度越高查询性能就会随着数据的增多越来越低。 二叉树节点中，还存在非正常的倾斜（比如ID自增的情况）的二叉树，查询一次数据就相当于全表搜索，因此二叉树的查询性能特别差 红黑树： 红黑树一种平衡二叉树，它复杂的定义和规则都是为了保证树的平衡性； 对于B++tree算法的底层算法逻辑理解： 利用Btree算法还是快速锁定100个盒子中，有代金券的盒子编号，如下图所示： 将需要存储的数据信息，均匀分配保存到对应页当中，最终数据信息的均匀存储（落盘） 根据页节点存储的数据信息，取出页节节点最小数据信息，并将每个叶节点最小数据信息进行汇总整合，生成相应内部节点数据； 实质上存储的是下层页节点的区间范围，以及与之对应的指针信息，最后构建出内部节点信息； 根据内部节点存储的数据信息，取出内部节点最小数据信息，并将每个内部节点最小值信息进行汇总整合，生成相应根节点数据； 根节点只能有占用一个页区域，如果一个页区域空间不够，需要进行内部节点层次扩展，但是尽量要保证层次越少越好； 实质上存储的是下层内部节点的区域范围，以及与之对应的指针信息，最后构建出独立且唯一的根节点信息； 整个树形结构，越向上节点存储数据的范围越大，然后依次再分发数据到下面的小范围，最终形成多叉树； 由于出现了多叉树，就表示全部数据分布在多个链表上，避免了单条链表存储数据，同时可以实现并发的访问数据 对于加号表示增强，其中增强表示在整个链表上，增加了同级相邻节点之间的双向指针，从而实现相邻节点相互跳转 根据以上B+Tree的结构说明，假设现在需要查找54这个数据值信息所在的数据页：等值查询 根据定义查找的数值信息，首先在根节点中获取数值所在的区间范围和相应指针信息，从而找到下层对应的内部节点信息； 根据定义查找的数据信息，其次在枝节点中获取数值所在的区域范围和相应指针信息，从而找到下层对应的叶子节点信息； 根据定义查找的数据信息，最后在叶子节点中获取最终的数据信息，结果结合上图经历三步完成了数据查找（3*16=48kB）； 在利用BTree查找数据信息时，会结合树形层次结构，来决定查询数据的步骤过程，并且理论上每个数据查找过程步骤相同； 总结：B代表的平衡含义就是，每次查找数据消耗的IO数量是一致的，并且读取的页数量也是一致的，查找时间复杂度是一致的； 根据以上B+Tree的结构说明，假设现在需要查找大于90这个数据值信息所在的数据页：不等值查询 ...

基础章节-01-MySQL数据库服务中级课程 1.00 课程知识章节说明 目前在互联网的实际应用中，各个企业都会比较关注自身网站的数据信息，既要保证数据信息的安全性，同时也要保证数据存储读取效率 并且在特殊的场景下，还要对存储的数据信息进行检索和分析；因此数据库服务业务已经在各行各业应用非常的广泛 对于互联网领域的技术人员，对于数据库服务知识的掌握，也将是在求职时必备的技能，有些时候还会绝对入职的定级和薪资水平。 1.06 数据库服务语句应用（实践） 1.6.1 操作管理语言获取帮助 在数据库服务中，SQL语句涉及到的语句非常的多，在实际应用过程中也未必都能记住，因此就需要掌握获取帮助的方法； 1 2 3 4 5 6 7 8 # 获取帮助信息_基本帮助信息 mysql > \h # 获取帮助信息_语句分类帮助 mysql > help contents mysql > ? contents # 获取帮助信息_具体语句帮助 mysql > ? create mysql > ? create database 1.6.2 操作管理语句应用实践（DDL） 利用数据定于语言（DDL），负责管理数据库的基础数据（不会对表的内容修改），比如增删库、增删表、增删索引、增删用户等； 01 数据定义语言对数据库定义 数据库中的库是数据库服务结构中的重要组成部分，一个库就像是一个excel文档，库里含有表,一个表就是一个excel的sheet； 因此，对于数据库管理操作SQL语句命令，属于比较基础的数据库操作能力，需要重点关注； 创建数据库信息： 1 2 3 4 5 6 7 8 9 10 mysql > create database oldboy; mysql > create schema oldboy; -- 创建新的数据库 mysql > create database oldboy character set utf8mb4; mysql > create database oldboy charset utf8 collate utf8_general_mysql500_ci; -- 创建新的数据库，并修改调整默认的字符编码 mysql > show databases; -- 查看是否已经创建好 mysql > show create database oldboy; -- 查看创建库的语句信息 查看数据库信息： ...

基础章节-01-MySQL数据库服务中级课程 1.00 课程知识章节说明 目前在互联网的实际应用中，各个企业都会比较关注自身网站的数据信息，既要保证数据信息的安全性，同时也要保证数据存储读取效率 并且在特殊的场景下，还要对存储的数据信息进行检索和分析；因此数据库服务业务已经在各行各业应用非常的广泛 对于互联网领域的技术人员，对于数据库服务知识的掌握，也将是在求职时必备的技能，有些时候还会绝对入职的定级和薪资水平。 1.06 数据库服务语句应用（实践） 1.6.1 操作管理语言获取帮助 在数据库服务中，SQL语句涉及到的语句非常的多，在实际应用过程中也未必都能记住，因此就需要掌握获取帮助的方法； 1 2 3 4 5 6 7 8 # 获取帮助信息_基本帮助信息 mysql > \h # 获取帮助信息_语句分类帮助 mysql > help contents mysql > ? contents # 获取帮助信息_具体语句帮助 mysql > ? create mysql > ? create database 1.6.2 操作管理语句应用实践（DDL） 利用数据定于语言（DDL），负责管理数据库的基础数据（不会对表的内容修改），比如增删库、增删表、增删索引、增删用户等； 01 数据定义语言对数据库定义 数据库中的库是数据库服务结构中的重要组成部分，一个库就像是一个excel文档，库里含有表,一个表就是一个excel的sheet； 因此，对于数据库管理操作SQL语句命令，属于比较基础的数据库操作能力，需要重点关注； 创建数据库信息： 1 2 3 4 5 6 7 8 9 10 mysql > create database oldboy; mysql > create schema oldboy; -- 创建新的数据库 mysql > create database oldboy character set utf8mb4; mysql > create database oldboy charset utf8 collate utf8_general_mysql500_ci; -- 创建新的数据库，并修改调整默认的字符编码 mysql > show databases; -- 查看是否已经创建好 mysql > show create database oldboy; -- 查看创建库的语句信息 查看数据库信息： ...

基础章节-01-MySQL数据库服务中级课程 1.00 课程知识章节说明 目前在互联网的实际应用中，各个企业都会比较关注自身网站的数据信息，既要保证数据信息的安全性，同时也要保证数据存储读取效率 并且在特殊的场景下，还要对存储的数据信息进行检索和分析；因此数据库服务业务已经在各行各业应用非常的广泛 对于互联网领域的技术人员，对于数据库服务知识的掌握，也将是在求职时必备的技能，有些时候还会绝对入职的定级和薪资水平。 1.05 数据库服务语句应用（基础） 1.5.1 操作管理语言概述介绍 什么是SQL语句？ SQL，英文全称为Structured Quer y Language，中文意思是结构化查询语言（属于编程语言）； 它是一种对关系数据库中的数据进行定义和操作的语言，是大多数关系数据库管理系统所支持的工业标准语言。 在使用SQL语句时，也会用到几种常用的标准：SQL 89 /SQL 92 /SQL 99 /SQL 03 在企业实际应用过程，还会根据SQL语言操作的方式，细化为四种类型： DDL Data Definition Language（数据定义语言） 概念介绍： 负责管理数据库的基础数据（不会对表的内容修改），比如增删库、增删表、增删索引、增删用户等； 涉及语句： CREATE（创建）、ALTER（修改）、DROP（删除）等； 关注人群： 运维人员和开发人员都要熟悉。 相关具体的DDL负责的操作行为，可以执行以下命令进行查看： 1 2 mysql> ? Data Definition; -- 查看获取DDL语言的操作行为 DCL Data Control Language（数据控制语言） 概念介绍： 主要用来定义访问权限和安全级别 涉及语句： GRANT（用户授权）、REVOKE（权限回收）、COMMIT（提交）、ROLLBACK（回滚） 关注人群： 运维人员需要熟练 相关具体的DCL负责的操作行为，可以执行以下命令进行查看： 1 2 mysql> ? Account Management -- 查看获取DCL语言的操作行为 DML Data Manipulation Language（数据操作语言） ...

基础章节-02-MySQL数据库服务体系结构 1.04 数据库服务体系结构 1.4.1 数据库服务工作模型 数据库服务在实际应用过程中，是采用C/S（客户端/服务端）模型方式进行工作的；并利用socket（套接字）与TCP/IP建立连接通信； 客户端部分： 序号 客户端工具 相关软件命令 01 数据库自带客户端命令（管理人员） mysql 、 mysqladmin 、 mysqldump 02 第三方软件客户端工具（开发人员） sqlyog 、 navicat 、 workbench 03 应用程序客户端连接器（ API） pymysql 、 gomysql 、 php-mysql 、 libmysqlclient . jar 1.4.2 数据库服务实例构成 数据库服务实例就是程序运行工作的一种方式，会占用一定的内存资源和CPU资源，并且会派生出多个线程完成不同的任务需求； MySQL实例 = mysqld + master thread监控管理 + 具体干活的thread（IO/SQL/Purge…） + 预分配的内存结构 简单来说：mysql实例就是占用内存资源的统称，利用mysql实例可以对数据进行处理； 实例工作示意图： 课程知识补充：内存结构介绍说明 序号组成部分作用说明 第00部分内核预留内存主要保证系统正常运行内存空间 第01部分 RSS 常驻内存集(Resident Set Size) 主要提供给进程线程使用 第02部分 page cache 页缓存部分最大区域（buffer cache）主要提供给数据进行缓冲 第03部分 anon page 匿名页部分最小区域主要处理中间数据（临时数据） ...

基础章节-01-MySQL数据库服务概述部署 1.00 课程知识章节说明 目前在互联网的实际应用中，各个企业都会比较关注自身网站的数据信息，既要保证数据信息的安全性，同时也要保证数据存储读取效率 并且在特殊的场景下，还要对存储的数据信息进行检索和分析；因此数据库服务业务已经在各行各业应用非常的广泛 对于互联网领域的技术人员，对于数据库服务知识的掌握，也将是在求职时必备的技能，有些时候还会绝对入职的定级和薪资水平。 1.01 数据库存储服务概述 今时今⽇，数据库系统已经成为各个动态⽹站上 web 应⽤程序的重要组成部分。 由于⾮常敏感和机密的数据有可能保存在数据库中，所以对数据库实施保护就显得尤为重要了。 要从数据库中提取或者存⼊数据，就必须经过连接数据库、发送⼀条合法查询、获取结果、关闭连接等步骤。 ⽬前，能完成这⼀系列动作的最常⽤的查询语⾔是结构化查询语⾔ Structured Quer y Language (SQL)。 并且在对数据库进行管理与维护的过程中，需要对数据库的相关知识进行充分的掌握，最终才能保证企业核心数据的安全性。 1.1.1 数据库知识引入说明 数据信息到底什么？ 序号 识别数据方式 数据信息 01 人类识别数据 账号密码图片视频数字文字特殊符号地址链接 02 电脑识别数据 二进制数值信息 1.1.2 数据库服务概念介绍 数据库（database DB）,是一种存储数据的仓库，在实际应用过程具有如下特征： 数据库是根据数据结构组织、存储和管理数据的； 数据库能够长期、高效的管理和存储数据； 数据库的目的就是能够存储（写）和提供（读）数据 1.1.3 数据库服务分类说明 数据库分为三个大的类型：(随着互联网发展的产品类型) 关系型数据库：（属于数据整合时代） 把复杂的数据结构归结为简单的二元关系（RDBMS），即二维表格形式（二维表）；会注重数据存储的持久性，但存储效率低； 此类型数据库服务，类似于excel表格的存储数据方式，多采用SQL语言方式进行操作管理； 关系型数据库四层结构信息： 序号 数据库结构 描述说明 01 数据库管理系统（ DBMS） 进行数据存储应用管理的操作环境或命令 02 数据库（ DB） 数据存储的承载环境 03 数据表（ Table） 数据关系的构建环境 04 数据字段（ Field） 实际数据信息展现形怯 没有具体模型的数据结构，英文简称NoSQL（Not Only SQL），意为"不仅仅是SQL"，比较注重数据读取的效率； ...