MySQL到TiDB：Hive Metastore横向扩展之路
本文介绍了vivo在大数据元数据服务横向扩展道路上的探索历程，由实际面临的问题出发，对当前主流的横向扩展方案进行了调研及对比测试，通过多方面对比数据择优选择TiDB方案。其次分享了整个扩展方案流程、实施遇到的问题及解决方案，对于在大数据元数据性能上面临同样困境的开发者本篇文章具有非常高的参考借鉴价值... ... »
MySQL运维2-主从复制
一、主从复制概念 主从复制是指将主数据库的DDL和DML操作通过二进制日志传到从服务器中，然后在从服务器上对这些日志重新执行也叫重做，从而使得从数据库和主库的数据保持同步。 MySQL支持一台主库同时向多台从库进行赋值，从库同时也可以作为其他从服务器的主库，实现链式复制。 一般主服务器我们叫Mast ... »
MySQL事务死锁问题排查
一、背景 在预发环境中，由消息驱动最终触发执行事务来写库存，但是导致MySQL发生死锁，写库存失败。 com.mysql.jdbc.exceptions.jdbc4.MySQLTransactionRollbackException: rpc error: code = Aborted desc = ... »
Vitess全局唯一ID生成的实现方案
为了标识一段数据，通常我们会为其指定一个唯一id，比如利用MySQL数据库中的自增主键。 但是当数据量非常大时，仅靠数据库的自增主键是远远不够的，并且对于分布式数据库只依赖MySQL的自增id无法满足全局唯一的需求。因此，产生了多种解决方案，如UUID，SnowFlake等。下文将介绍Vitess是... ... »
MySQL实战实战系列 07 行锁功过：怎么减少行锁对性能的影响？
在上一篇文章中，我跟你介绍了 MySQL 的全局锁和表级锁，今天我们就来讲讲 MySQL 的行锁。 MySQL 的行锁是在引擎层由各个引擎自己实现的。但并不是所有的引擎都支持行锁，比如 MyISAM 引擎就不支持行锁。不支持行锁意味着并发控制只能使用表锁，对于这种引擎的表，同一张表上任何时刻只能有一 ... »
MySQL 索引、事务与存储引擎
MySQL 索引、事务与存储引擎 MySQL 索引 1．索引的概念 ●索引是一个排序的列表，在这个列表中存储着索引的值和包含这个值的数据所在行的物理地址（类似于C语言的链表通过指针指向数据记录的内存地址）。 ●使用索引后可以不用扫描全表来定位某行的数据，而是先通过索引表找到该行数据对应的物理地址然后 ... »
mysql8安装踩坑记
背景：已安装mysql5.7版本 问题一：默认的3306端口被占用 进入mysql5.7的my.ini文件，更改port为3307或者其他未被占用的端口 问题二：Install/Remove of the Service Denied! cmd用管理员的身份运行，执行mysqld --install ... »
MySQL实战实战系列 06 全局锁和表锁 ：给表加个字段怎么有这么多阻碍？
今天我要跟你聊聊 MySQL 的锁。数据库锁设计的初衷是处理并发问题。作为多用户共享的资源，当出现并发访问的时候，数据库需要合理地控制资源的访问规则。而锁就是用来实现这些访问规则的重要数据结构。 根据加锁的范围，MySQL 里面的锁大致可以分成全局锁、表级锁和行锁三类。今天这篇文章，我会和你分享全局 ... »
MySQL运维1-日志
一、错误日志 错误日志是MySQL中最重要的日志之一，它记录了当MySQL启动和停止时，以及服务器在运行过程中发生的任何严重错误时的相关信息，当数据库出现任何故障导致无法正常使用时，建议首先查看此日志 错误日志默认是开启的，默认存在目录/var/log/，默认的日志文件名为mysqld.log, 但 ... »
MySQL实战实战系列 04 深入浅出索引（下）
在上一篇文章中，我和你介绍了 InnoDB 索引的数据结构模型，今天我们再继续聊聊跟 MySQL 索引有关的概念。 在开始这篇文章之前，我们先来看一下这个问题： 在下面这个表 T 中，如果我执行 select * from T where k between 3 and 5，需要执行几次树的搜索操作 ... »
MySQL系列3：缓冲池Buffer Pool的设计思想
1. 回顾 上一篇我们主要讲了InnoDB的存储引擎，其中主要的一个组件就是缓存池Buffer Pool，缓存了磁盘的真实数据，然后基于缓存做增删改查操作，同时配合了后续的redo log、刷磁盘等机制和操作。如下图： 这一篇，深入该组件内部，学习一下其设计思想。 2. Buffer Pool数据结 ... »
MySQL中的Statistics等待
【作者】 吴宙旭，携程数据库专家 【问题描述】 线上我们偶尔会碰到MySQL的状态是statistics. 但如果出现大量的statistics等待，会引起MySQL性能急剧下降。官方的文档对这个状态的解释如下： The server is calculating statistics to dev ... »
MySQL 主从复制与读写分离
MySQL 主从复制与读写分离 1、什么是读写分离？ 读写分离，基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。 2、为什么要读写分离呢？ 因为数据库的“写” ... »
Mysql忘记密码后如何重置密码
长时间不使用本机的Mysql后把密码忘记了咋整？直接上干货： 第一步（Mysql部署的位置，若自己能找到就忽略这一步):任务管理器中也可以找到 第二步：修改配置文件 在my.ini末尾加上 skip-grant-tables=1（这一句是为了忽略数据库密码） 第三步：重启数据库服务并重置数据库密码（ ... »
MySQL高级13-MySQL管理工具
一、系统数据库 MySQL数据库安装完成后，自带了四个数据库： mysql数据库：存储MySQL服务器正常运行所需要的各种信息如时区、主从、用户、权限等 infomation_schema：提供了访问数据库元数据的各种表和视图，包含数据库、表、字段类型及访问权限等 performance_schem ... »
慢SQL原因分析之索引失效
现象 最近收到一个慢sql工单,慢sql大概是这样：“select xxx from tabel where type = 1”。 咦，type字段明明有索引啊，为啥是慢sql呢？ 原因 通过执行explain，发现实际上数据库执行了全表扫描，从而被系统判定为慢sql。这时有一定开发经验的同事会说： ... »
MySQL 日志管理、备份与恢复
MySQL 日志管理、备份与恢复 MySQL 日志管理 MySQL 的日志默认保存位置为 /usr/local/mysql/data vim /etc/my.cnf [mysqld] ##错误日志，用来记录当MySQL启动、停止或运行时发生的错误信息，默认已开启 log-error=/usr/loc ... »
MySQL高级12-事务原理
一、事务概念 事务是一组操作的集合，他是一个不可分割的工作单位，事务会把所有操作作为一个整体一起向系统提交或者撤销请求操作，即这些操作要么同时成功，要么同时失败。 二、事务特性 原子性（Atomicity）：事务是不可分割的最小操作单元，要么全部成功，要么全部失败 一致性（Consistency）： ... »
MySQL的字段数量以及长度限制
一、InnoDB行格式 行格式 紧凑的存储特性 增强的可变长度列存储 大型索引键前缀支持 压缩支持 支持的表空间类型 REDUNDANT N N N N system, file-per-table, general COMPACT Y N N N system, file-per-table, g ... »
MySQL高级11-后台进程
一、前言 MySQL的服务实现通过后台多个线程、内存池、文件交互来实现对外服务的，不同线程实现不同的资源操作，各个线程相互协助，共同来完成数据库的服务。MySQL常用的后台线程概括如下，分为Master Thread，IO Thread，Purge Thread，Page Cleaner Threa ... »