Java互联网架构-分布式架构Mycat的前世今生
《Java互联网架构-分布式架构Mycat的前世今生》要点: 欢迎参与《Java互联网架构-分布式架构Mycat的前世今生》讨论,分享您的想法,编程之家PHP学院为您提供专业教程。 概述 Mycat是一个开源的分布式数据库系统,其核心功能是分表分库,即将一个大表水平分割为多个小表,存储在后端MySQL或者其他数据库里.取名Mycat原因一是简单好记,另一个则是希望未来能够入驻 Apache,Apache的开源产物Tomcat也是一只猫. 一丶 MyCAT猫的前世 最近猫为什么这么火,Apache的猫,MyCAT的猫. 差不多都长这个样 MyCAT本来本没有想着来生做猫的,因为他的前世是阿里的Cobar, 转世之后,成为了MyCAT,而且开源了,就立志做一个中国的Apache猫. 说道他的前世是阿里的Cobar,Cobar的作者离职了以后,Cobar就几乎没有进行后续开发和维护了, 后来转为开源的MyCAT,又进行了迅速的发展,现在初步统计有超过300个项目使用mycat,其中包含: 中国电信/中国联通/蒲公英传媒/天狮集团等等 为什么有这么多的知名公司使用mycat 呢,我们看看他们的业务量, 1.安智账户系统,数据量单表6000万条,20多张表,上亿条数据,系统运行良好,偶尔有SQL操作缓慢的现象. 2.公安项目,20个表,30多亿条数据,选取适合的业务使用mycat 从这些项目中我们可以看出,mycat长于对上亿条单表数据量的处理,并提供良好的实时查询服务. 而我们知道,MYSQL的库中很难处理上亿条数据的查询工作,MYCAT提高了MYSQL数据库的处理才能, 从官方的解释来看,MYCAT适合处置千亿条以下的数据,千亿条以上的数据更适合HADOOP这些系统来处置. 说了半天,什么是MYCAT呢? MYCAT便是一个虚拟的MYSQL SERVER,这么说可能不太理解,但是对于应用来说,他便是一个MYSQL SERVER, 应用就像连接普通的MYSQL数据库一样的 去连接他,SQL查询、操作等等一模一样. 而MYCAT把数据库复杂的架构,以及背后复杂的分表分库的逻辑全部透明化了,MYCAT中间件连接多个MYSQL数据库, 多个数据库之间还可以做主从同步,而这一切的一切,对应用来说,只有一个数据库,那便是MYCAT. 二丶 MyCAT猫的此生 MYCAT发展到现在已经不仅仅是MYSQL的代理了,它还支持SQLSERVER/ORACLE/DB2/POSTGRESQL等主流数据库. MYCAT还可以将一个表定义为任何一种MYCAT支持的存储方式,好比MySQL的MyISAM 表、内存表、或者MongDB这种 内存数据库上. MYCAT这么强大,那么他的原理是不是特其余复杂,非也,Mycat 的原理可以用一个动词来形容:”拦截“ 它拦截应用发送过来的SQL,并对SQL语句进行一些特定的阐发:分片阐发、路由阐发、读写分离阐发、缓存阐发等,然后将 分析后的SQL分别发送到分歧的真实数据库,最后对数据库返回的结果进行处理,返回给用户. 下面列举几个MYCAT 典型的应用场景: · 单纯的读写分离,在下面我们会有讲解如何进行Mycat下面的读写分离的配置 · 分表分库,对于跨越1000万的表进行分片,最大支持1000亿的单表分片 · 多租户应用,每个应用一个库,但应用程序只连接MYCAT,从而不改变程序自己,实现多租户 · 报表系统,借助于MYCAT的分表才能,处理大规模报表的统计 · 替代HBase,阐发大数据 · 作为海量数据实时查询的一种简单有效的办理方案,比如100亿条数据需要在3秒内实时查询出来,此时可以考虑MYCAT 现在MYCAT社区活跃,MYCAT 周边的系统也慢慢衍生出来,慢慢的形成了MYCAT生态圈了,像MYCAT-WEB 监控,MYCAT-HA 高可用方案等等,所以MYCAT还是很值得我们学习和研究的. 三丶 十分钟安装使用 MYCAT虽然强大,但是他的安装却十分简单,下面我们进入我们十分钟安装教程: 1.下载MYCAT安装包 在GitHub 的 MyCATApache项目下,我们找到 https://github.com/MyCATApache/Mycat-download/tree/master/1.5-RELEASE 选取 Mycat-server-1.5.1-RELEASE-20160929233042-linux.tar.gz linux 版本进行 下载 目前1.6版本部分功能还在开发中,1.5版本比拟稳定,建议下载1.5用于生产环境使用 2. 解压运行MYCAT安装包 下载文件是一个tar的linux压缩包,用解压命令 tar -zxvf Mycat-server-1.5.1-RELEASE-20160929233042-linux.tar.gz 启动命令 ./mycat start|restart|stop|console 常用几项内容 日志文件 logs/wrapper.log mycat服务器日志 logs/mycat.log 数据库操作日志,阐发数据库操作路由使用. 启动MyCat最主要的几个配置文件: conf/server.xml 服务器用户、虚拟Sechma、端口等配置信息. conf/sechma.xml 物理数据库映射. 使用MyCAT来说的话,最主要的便是修改这两个文件,接下来我们实现MYCAT下的读写分离. 四丶 MYCAT下实现读写分离 首先参考上一节MYSQL配置主从复制,配置好主从数据库之间的数据复制功能. 1.登录主服务器的mysql,查询master的状态 mysql> show master status; +------------------+----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +------------------+----------+--------------+------------------+ | mysql-bin.000010 | 106 | db1,db2,db3 | mysql | +------------------+----------+--------------+------------------+ Master 重启后会修改mysql-bin(序号加1) 2.查看Slave机有没有配置胜利: mysql> show slave statusG 以下两个参数必需为YES: Slave_IO_Running: Yes Slave_SQL_Running: Yes 3.MyCAT的配置 不使用Mycat托管的 MySQL主从服务器 schema.xml <dataNode name="dn1" dataHost="localhost1" database="db1" /> <dataNode name="dn2" dataHost="localhost1" database="db2" /> <dataNode name="dn3" dataHost="localhost1" database="db3" /> <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <writeHost host="hostM" url="172.19.4.239:3306" user="root" password="123456"></writeHost> </dataHost> 支持MySQL主从复制状态绑定的读写分离机制,让读更加平安可靠,配置如下 <dataNode name="dn1" dataHost="localhost1" database="db1" /> <dataNode name="dn2" dataHost="localhost1" database="db2" /> <dataNode name="dn3" dataHost="localhost1" database="db3" /> <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="2" slaveThreshold="100"> <heartbeat>show slave status</heartbeat> <writeHost host="hostM" url="172.19.4.239:3306" user="root" password="123456"> <readHost host="hostS" url="172.19.4.240:3306" user="root" password="123456" /> </writeHost> </dataHost> 设置 balance="1"与writeType="0" Balance参数设置: 1. balance=“0”,所有读操作都发送到当前可用的writeHost上. 2. balance=“1”,所有读操作都随机的发送到readHost. 3. balance=“2”,所有读操作都随机的在writeHost、readhost上分发 WriteType参数设置: 1. writeType=“0”,所有写操作都发送到可用的writeHost上. 2. writeType=“1”,所有写操作都随机的发送到readHost. 3. writeType=“2”,所有写操作都随机的在writeHost、readhost分上发. 这样配置了以后,就已经实现了读写分离的功能,还可以对数据库进行负载均衡 启动mycat,用应用或者Navicat等工具 连接mycat,端口是 8066 insert,select 进行测试. 五丶MyCAT中分表分库策略 上面只是实现了如何进行读写分离,基于数据库的主从同步复制的原理,我们在之前的课程里已经知道, 主从同步复制的数据是,保证从数据库和主库的数据一模一样,也便是说数据是多复制了一份出来, 而MYCAT 只所以能支持上百亿的数据量,在于他的另一个功能:分表分库策略 分表分库简单来说,就是MYCAT 下面连接的数据库节点,打比喻说有dn1,dn2,dn3,他们每个库中的数据 是各不相同的. 把MYCAT当做一个虚拟数据库来看,travelrecord 是MYCAT下面建的一张表,应用调用MYCAT 库可以调用到整张表的数据,但是如果查询某一个节点dn1,则只能查询到一部门数据(通常是1/3)的数据 dn1,dn3 各自存储了一部门的数据,但是可以通过MYCAT 来查询到整张表的数据, 这样增强了每个数据库的数据存储处理能力,这就是MYCAT的高明之处,也就是为什么他能够处理上百亿条数据的奇妙. 这里列出一个简单的分表分库的配置: schema.xml <table name="travelrecord" dataNode="dn1,dn3" rule="auto-sharding-long" /> 在schema中 我们必要配置mycat 中的虚拟表table,以及他的rule,分表规则 auto-sharding-long 的意思是 事先已经定义好每个dn的 范围,根据范围划分,这个规则在rule.xml中进行配置. datanode 的配置: <dataNode name="dn1" dataHost="localhost1" database="db1" /> <dataNode name="dn2" dataHost="localhost2" database="db2" /> <dataNode name="dn3" dataHost="localhost3" database="db3" /> <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <!-- can have multi write hosts --> <writeHost host="hostM1" url="172.19.4.3:3306" user="root" password="123456"></writeHost> </dataHost> <dataHost name="localhost2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <!-- can have multi write hosts --> <writeHost host="hostM2" url="172.19.4.201:3306" user="root" password="123456"></writeHost> </dataHost> <dataHost name="localhost3" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <!-- can have multi write hosts --> <writeHost host="hostM2" url="172.19.4.86:3306" user="root" password="123456"></writeHost> </dataHost> 这样数据便是自动切分到这3个不同的datanode中了,select 取出来也是完整的数据. 分表分库还有一点窍门便是,你的数据是纵向来切,还是横向来切, 上面讲的那个是 横向来切:便是把一张表的数据 切到不同的 数据库中. 纵向切更简单,便是以表来分库,不同的表 放到不同的库中,表中的数据在某个库中是完整的. 六丶 MyCAT的五脏六腑 学会了MYCAT来做读写分离和分表分库的使用以后,我们应该更深入MYCAT的五脏六腑,了解MYCAT的运行机制,这样对线上的应用处置一些 应急事故,以及办理一些问题提供思路,非常的有帮助,有能力的童鞋还可以参与到MYCAT的后续开发中来. MYCAT 的后端通信采纳了NIO非阻塞 和AIO 异步通信方式,使得通信效率更高 SQL解析这一块用到了阿里的Druid进行解析 协议这一块,对于MYSQL数据库采纳原生的二进制协议,还支持驱动方式的连接 而且MYCAT还增加order by,group by,limit 等聚合功能的支持. 总结 到这里,分布式架构Mycat的前世今生就结束了,不足之处还望大家多多原谅!!觉得收获的话可以点个关注收藏转发一波喔,谢谢大佬们支持.(吹一波,233~~) 下面和大家交流几点编程的经验: 1、多写多敲代码,好的代码与扎实的基础知识必定是实践出来的 2丶 测试、测试再测试,如果你不彻底测试本身的代码,那恐怕你开发的就不只是代码,可能还会声名狼藉. 3丶 简化编程,加快速度,代码风骚,在你完成编码后,应回头而且优化它.从长远来看,这里或那里一些的改进,会让后来的支持人员更加轻松. 最后,每一位读到这里的网友,感谢你们能耐心地看完.希望在成为一名更优秀的Java法式员的道路上,我们可以一起学习、一起进步. 内部交流群469717771 欢迎各位前来交流和分享,验证:(007) Java小马哥,头条出品,每天一篇干货,喜欢就收藏+存眷(编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |