本篇文章的目的在于介绍MySQL Cluster也就是MySQL的一套内存内实时可扩展且具备高可用性的版本在解决标题中所提到的每秒2亿查询处理能力问题之前我们先对MySQL集群的背景信息及其架构进行一番回顾这将有助于大家理解上述目标的实现过程
MySQL Cluster介绍
MySQL Cluster是一套具备可扩展能力实时内存内且符合ACID要求的事务型数据库其将99.999%高可用性与低廉的开源总体拥有成本相结合在设计思路方面MySQL Cluster采用一套分布式多主架构并借此彻底消灭了单点故障问题MySQL Cluster能够横向扩展至商用硬件之上能够通过自动分区以承载读取与写入敏感型工作负载并可通过SQL与NoSQL接口实现访问
作为一套最初被设计为嵌入式电信数据库用于实现内网应用运营商级可用性及实时性能的解决方案MySQL Cluster已经通过众多新型功能集的强化而得到快速发展从而将用例范围扩展到Web移动以及企业级应用程序等部署在内部或者云环境下的实例当中具体包括大规模OLTP实时分析电子商务库存管理购物车支付处理订单追踪在线游戏金融交易与欺诈检测移动与微支付会话管理与缓存数据流供应分析与建议内容管理与交付通信与呈现服务订阅/用户配置管理与补贴等等
MySQL Cluster架构概述
在面向应用程序的事务流程背后存在着三种负责将服务交付至应用程序的节点类型下图所示为一套简单的示例型MySQL Cluster架构其由十二套被划分为六个节点组的Data Node构成
Data Node属于MySQL Cluster当中的主节点它们负责提供以下功能内存内与基于磁盘数据的存储与管理表的自动化与用户定义型划分即分区在不同数据节点间进行数据副本同步事务与数据检查自动故障转移以及用于实现自我修复的故障后自动重新同步
各种表会在多个数据节点当中进行自动分区而且每个数据节点作为一个写入操作的接收主体这就使其能够轻松将写入敏感型工作负载分布至多个商用节点之上同时保证应用程序的完全透明化
通过将数据保存并分发至一套无共享架构也就是不使用任何共享磁盘当中并至少为数据同步至一套副本内MySQL Cluster能够保证在单一Data Node出现故障时用户至少还拥有另一个存储有相同信息的Data Node如此一来请求与事务处理流程将以无中断方式继续提供令人满意的运作效果任何由于Data Node故障所引发的短暂故障转移窗口时间在秒以下而无法正常完成的事务流程都将被回滚并重新执行
我们可以为数据选择存储方式包括全部保存在内存内或者将一部分数据只在在磁盘之上仅限于非索引数据内存内存储对于那些需要经常进行变更的数据也就是活跃工作组而言意义重大保存在内存内的数据会定期进行指向本地磁盘的检查并与全部Data Node进行协调这样MySQL Cluster就能够在整体系统发生故障时例如供电中断得以全面恢复基于磁盘的数据能够被用于存储对性能要求较低的数据而这类数据集往往大于可用内存空间正如其它大部分数据库服务器一样MySQL Cluster会利用页面缓存机制将基于磁盘且访问频率较高的数据缓存在Data Node的内存当中从而增加其实际性能表现
Application Node负责提供由应用程序逻辑到数据节点的连接应用程序可以利用SQL访问该数据库具体而言通过一台或者多台MySQL服务器向处于同一套MySQL Cluster内的存储数据执行SQL接口功能在MySQL Server当中我们可以使用任何一种标准化MySQL连接机制这意味着大家拥有非常丰富的访问技术可供选择另外一套名为NDB API的高性能基于C++接口可被用于实现附加控制改善实时行为并带来更理想的吞吐能力NDB API的层能够帮助额外NoSQL接口绕过SQL层而直接访问该集群如此一来不仅延迟有所降低开发人员也有获得更理想的灵活性水平现有接口包括JavaJPAMemcachedJavaScript with Node.js以及HTTP/REST通过一套Apache Module实现所有Application Node都能够访问到来自任意Data Node的数据所以即使出现故障它们也不会导致任何服务丢失因为各应用程序能够继续使用其它尚能正常运转的节点
Management Node的职责在于该集群的配置方案发布到集群内的所有节点当中以实现节点管理Management Node的起效时间点分别为集群启动时某个节点希望加入集群时以及系统进行重新配置时Management Node能够在不影响到当前正在进行的Data及Application Node执行操作的前提下进行中止以及重启在默认情况下Management Node同时提供裁定服务例如某种网络故障引发裂脑即split-brain或者某信集群开始进行网络划分的情况
通过透明化划分实现可扩展性
来自任何给定表的行都会以透明化方式被拆分成多个分区/片段在每个片段中会包含一个单独数据节点负责保留全部数据内容并处理指向该数据的所有读取及写入操作每个数据节点还拥有一套搭档体系二者共同构成一个节点组; 搭档节点中保存有该数据片段的辅助副本但同时也拥有着自己的主片段MySQL Cluster利用两步式提交协议实现数据同步从而确保当某项事务被提交之后所引发的变更将被同时存储在两个数据节点当中
在默认情况下表的主键会被作为分片键使用而MySQL Cluster将对该分片键执行MD5散列处理从而选择需要保存哪个片段/分区如果某一事务或者查询需要访问来自多个数据节点的数据那么其中一个数据节点会充当事务协调方的角色并将具体工作分配给其它相关数据节点; 接下来访问结果会得到整合并最终提供给应用程序请注意我们同样可以让多个事务或者查询访问来自多个分区及表的数据相较于利用分片机制保存数据的典型NoSQL这无疑成为MySQL Cluster的一大显著比较优势
要实现最理想的线性规模缩放效果我们需要确保将高强度查询/事务只需运行在单独一套数据节点之上因为这能够大大降低由数据节点间通信所带来的网络延迟为了实现这个目标我们可以让应用程序获得分布识别能力具体而言这意味着由管理员定义的规划能够涵盖分片键所需要使用的任意列举例来讲上图所示为一套配备有由用户ID与服务名称组成的复合主键的表; 通过将用户ID选定为分片键表内与给定用户相关的所有行将始终被容纳在同一片段当中更为强大的是如果我们在其它表中使用同样的用户ID列并将其设定为分片键那么该给定用户在所有表内的全部数据都会被容纳在同一片段之内换言之指向该用户的查询/事务都将在单一数据节点内进行处理
本篇文章的目的在于介绍MySQL Cluster也就是MySQL的一套内存内实时可扩展且具备高可用性的版本在解决标题中所提到的每秒2亿查询处理能力问题之前我们先对MySQL集群的背景信息及其架构进行一番回顾这将有助于大家理解上述目标的实现过程
利用NoSQL API最大程度提升数据访问速度
MySQL Cluster提供多种方式对存储数据进行访问; 最常见的方法当然是SQL不过正如下图所示我们还可以利用多种原生API帮助应用程序直接从数据库当中读取及写入数据同时又能通过转换为SQL以绕过MySQL Server的方式防止效率低下或者拉高开发复杂程度现有API面向C++JavaJPAJavaScript/Node.jsHTTP以及Memcached协议
基准目标每秒2亿次查询
MySQL Cluster在设计当中主要面向两种工作负载类型
-OLTP即联机事务处理内存优化型表提供次毫秒级低延迟与堪称极端水平的OLTP工作负载并发能力同时仍然保证良好的耐久性表现; 此外其也能够被用于处理基于磁盘的表数据
-临时性搜索MySQL Cluster增加了并行数量上限从而在对表内非索引数据列进行扫描时带来显著的速度提升
值得一提的是MySQL Cluster在处理OLTP工作负载方面的表现最为突出特别是在以并发方式发出海量查询/事务请求的情况下为此我们一般会使用flexAsynch基准测试来衡量将更多数据节点添加到集群当中后NoSQL所获得的实际性能扩展效果
此次基准测试所面向的每个数据节点都运行在采用专用56线程英特尔E5-2697 v3Haswell架构设备之上上图所示为数据吞吐能力随数据节点数量增长的变化趋势具体区间由2节点最终增加到32节点请注意MySQL Cluster目前最多能够支持48个数据节点如套大家所见整个扩展比例几乎保持线性而且在32数据中心情况下其整体吞吐能力达到了每秒2亿次NoSQL查询
如果大家对这次测试感兴趣可以点击此处在MySQL Cluster基准测试页面内了解与之相关的详尽描述与最新结果
此次2亿QPS基准测试运行在MySQL Cluster 7.4版本之上为目前最新的通用版本大家可以点击此处了解更多与MySQL Cluster 7.4版本相关的信息或者点击此处观看主题网络研讨会的重播视频
