阿里开源Mysql分布式中间件：Cobar

本站寻求有缘人接手，详细了解请联系站长QQ1493399855

  这几天研究了下Cobar， Cobar是阿里巴巴研发的关系型数据的分布式处理系统（Amoeba的升级版，该产品成功替代了原先基于Oracle的数据存储方案，目前已经接管了3000+个MySQL数据库的schema，平均每天处理近50亿次的SQL执行请求。）（github上面的是源码，大家下来需要自己用maven2编译后运行、者放Eclipse里面运行，一开始我用maven3没有执行成功。）

首先，使用Cobar的核心功能如下：

分布式：
Cobar的分布式主要是通过将表放入不同的库来实现：
1. Cobar支持将一张表水平拆分成多份分别放入不同的库来实现表的水平拆分
2. Cobar也支持将不同的表放入不同的库
3. 多数情况下，用户会将以上两种方式混合使用
这里需要强调的是，Cobar不支持将一张表，例如test表拆分成test_1, test_2, test_3.....放在同一个库中，必须将拆分后的表分别放入不同的库来实现分布式。

HA：
在用户配置了MySQL心跳的情况下，Cobar可以自动向后端连接的MySQL发送心跳，判断MySQL运行状况，一旦运行出现异常，Cobar可以自动切换到备机工作。但需要强调的是：
1. Cobar的主备切换有两种触发方式，一种是用户手动触发，一种是Cobar的心跳语句检测到异常后自动触发。那么，当心跳检测到主机异常，切换到备机，如果主机恢复了，需要用户手动切回主机工作，Cobar不会在主机恢复时自动切换回主机，除非备机的心跳也返回异常。
2. Cobar只检查MySQL主备异常，不关心主备之间的数据同步，因此用户需要在使用Cobar之前在MySQL主备上配置双向同步，详情可以参阅MySQL参考手册。

其次，我们也需要注意Cobar的功能约束：

1) 不支持跨库情况下的join、分页、排序、子查询操作。
2) SET语句执行会被忽略，事务和字符集设置除外。
3) 分库情况下，insert语句必须包含拆分字段列名。
4) 分库情况下，update语句不能更新拆分字段的值。
5) 不支持SAVEPOINT操作。
6) 暂时只支持MySQL数据节点。
7) 使用JDBC时，不支持rewriteBatchedStatements=true参数设置(默认为false)。
8) 使用JDBC时，不支持useServerPrepStmts=true参数设置(默认为false)。
9) 使用JDBC时，BLOB, BINARY, VARBINARY字段不能使用setBlob()或setBinaryStream()方法设置参数。

然后，我们来分析一下Cobar逻辑层次图：


 
* dataSource：数据源，表示一个具体的数据库连接，与物理存在的数据库schema一一对应。
* dataNode：数据节点，由主、备数据源，数据源的HA以及连接池共同组成，可以将一个dataNode理解为一个分库。
* table：表，包括拆分表（如tb1，tb2）和非拆分表。
* tableRule：路由规则，用于判断SQL语句被路由到具体哪些datanode执行。
* schema：cobar可以定义包含拆分表的schema（如schema1），也可以定义无拆分表的schema（如schema2）。

Cobar支持的数据库结构（schema）的层次关系具有较强的灵活性，用户可以将表自由放置不同的datanode，也可将不同的datasource放置在同一MySQL实例上。在实际应用中，我们需要通过配置文件（schema.xml）来定义我们需要的数据库服务器和表的分布策略，这点我们将在后面的安装和配置部分中介绍到。

接着，我们来介绍Cobar的安装和配置步骤：

下面我们将使用一个最简单的分库分表的例子来说明Cobar的基本用法，数据库schema如下图（该实例也可参考：Cobar产品首页）。


 
1) 系统对外提供的数据库名是dbtest,并且其中有两张表tb1和tb2。
2) tb1表的数据被映射到物理数据库dbtest1的tb1上。
3) tb2表的一部分数据被映射到物理数据库dbtest2的tb2上，另外一部分数据被映射到物理数据库dbtest3的tb2上。

1、环境准备

操作系统：Linux或者Windows (推荐在Linux环境下运行Cobar)
MySQL：http://www.mysql.com/downloads/ (推荐使用5.1以上版本)
JDK：http://www.oracle.com/technetwork/java/javase/downloads/ (推荐使用1.6以上版本)
Cobar：https://github.com/alibaba/cobar (下载tar.gz或者zip文件，特意说明下，阿里的开源全部移到github上去了，里面有很多阿里人的作品，当然包含著名的dubbo，地址是：https://github.com/alibaba/)

2、数据准备

假设本文MySQL所在服务器IP为192.168.0.1，端口为3306，用户名为test，密码为空，我们需要创建schema:dbtest1、dbtest2、dbtest3，table:tb1、tb2，SQL如下：

[sql] view plaincopy

1.  #创建dbtest1  

2.  drop database if exists dbtest1;  

3.  create database dbtest1;  

4.  use dbtest1;  

5.  #在dbtest1上创建tb1  

6.  create table tb1(  

7.  id    int not null,  

8.  gmt   datetime);  

9.     

10.#创建dbtest2  

11.drop database if exists dbtest2;  

12.create database dbtest2;  

13.use dbtest2;  

14.#在dbtest2上创建tb2  

15.create table tb2(  

16.id    int not null,  

17.val   varchar(256));  

18.   

19.#创建dbtest3  

20.drop database if exists dbtest3;  

21.create database dbtest3;  

22.use dbtest3;  

23.#在dbtest3上创建tb2  

24.create table tb2(  

25.id    int not null,  

26.val   varchar(256));