[转帖]MySQL 分表优化方法与实例代码_MySQL, Oracle及数据库讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  MySQL, Oracle及数据库讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 3914 | 回复: 0   主题: [转帖]MySQL 分表优化方法与实例代码        下一篇 
yang.wang
注册用户
等级:中士
经验:217
发帖:82
精华:0
注册:2011-12-28
状态:离线
发送短消息息给yang.wang 加好友    发送短消息息给yang.wang 发消息
发表于: IP:您无权察看 2014-12-4 10:36:45 | [全部帖] [楼主帖] 楼主

1、试验PROCEDURE.

 DELIMITER $$
DROP PROCEDURE `t_girl`.`sp_split_table`$$
CREATE PROCEDURE `t_girl`.`sp_split_table`()
BEGIN
declare done int default 0;
declare v_user_name varchar(20) default '';
declare v_table_name varchar(64) default '';
-- Get all users' name.
declare cur1 cursor for select user_name from t_group group by user_name;
-- Deal with error or warnings.
declare continue handler for 1329 set done = 1;
-- Open cursor.
open cur1;
while done <> 1
do
fetch cur1 into v_user_name;
if not done then
-- Get table name.
set v_table_name = concat('t_group_',v_user_name);
-- Create new extra table.
set @stmt = concat('create table ',v_table_name,' like t_group');
prepare s1 from @stmt;
execute s1;
drop prepare s1;
-- Load data into it.
set @stmt = concat('insert into ',v_table_name,' select * from t_group where user_name = ''',v_user_name,'''');
prepare s1 from @stmt;
execute s1;
drop prepare s1;
end if;
end while;
-- Close cursor.
close cur1;
-- Free variable from memory.
set @stmt = NULL;
END$$
DELIMITER ;


2、试验表。
我们用一个有一千万条记录的表来做测试。

mysql教程> select count(*) from t_group; | count(*) | | 10388608 | 1 row in set (0.00 sec)

表结构。

 mysql> desc t_group; | Field | Type | Null | Key | Default | Extra | | id | int(10) unsigned | NO | PRI | NULL | auto_increment |
| money | decimal(10,2) | NO | | | |
| user_name | varchar(20) | NO | MUL | | |
| create_time | timestamp | NO | | CURRENT_TIMESTAMP | | 4 rows in set (0.00 sec)


索引情况。

mysql> show index from t_group; | Table | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | | t_group | 0 | PRIMARY | 1 | id | A | 10388608 | NULL | NULL | | BTREE | |
| t_group | 1 | idx_user_name | 1 | user_name | A | 8 | NULL | NULL | | BTREE | |
| t_group | 1 | idx_combination1 | 1 | user_name | A | 8 | NULL | NULL | | BTREE | |
| t_group | 1 | idx_combination1 | 2 | money | A | 3776 | NULL | NULL | | BTREE | | 4 rows in set (0.00 sec)
PS:


idx_combination1 这个索引是必须的,因为要对user_name来GROUP BY。此时属于松散索引扫描!当然完了后你可以干掉她。
idx_user_name 这个索引是为了加快单独执行constant这种类型的查询。
我们要根据用户名来分表。

mysql> select user_name from t_group where 1 group by user_name; | user_name | | david |
| leo |
| livia |
| lucy |
| sarah |
| simon |
| sony |
| sunny | 8 rows in set (0.00 sec)


所以结果表应该是这样的。

 mysql> show tables like 't_group_%'; | Tables_in_t_girl (t_group_%) | | t_group_david |
| t_group_leo |
| t_group_livia |
| t_group_lucy |
| t_group_sarah |
| t_group_simon |
| t_group_sony |
| t_group_sunny | 8 rows in set (0.00 sec)


3、对比结果。

mysql> select count(*) from t_group where user_name = 'david'; | count(*) | | 1298576 | 1 row in set (1.71 sec)


执行了将近2秒。

mysql> select count(*) from t_group_david; | count(*) | | 1298576 | 1 row in set (0.00 sec)


几乎是瞬间的。

mysql> select count(*) from t_group where user_name <> 'david'; | count(*) | | 9090032 | 1 row in set (9.26 sec)


执行了将近10秒,可以想象,这个是实际的项目中是不能忍受的。

 mysql> select (select count(*) from t_group) - (select count(*) from t_group_david) as total; | total | | 9090032 | 1 row in set (0.00 sec)


几乎是瞬间的。

对于原表的操作。

mysql> select min(money),max(money) from t_group where user_name = 'david'; | min(money) | max(money) | | -6.41 | 500.59 | 1 row in set (0.00 sec)


最小,最大值都是FULL INDEX SCAN。所以是瞬间的。

 mysql> select sum(money),avg(money) from t_group where user_name = 'david'; | sum(money) | avg(money) | | 319992383.84 | 246.417910 | 1 row in set (2.15 sec)


其他聚集函数的结果就不是FULL INDEX SCAN了。耗时2.15秒。

对于小表的操作。

 mysql> select min(money),max(money) from t_group_david; | min(money) | max(money) | | -6.41 | 500.59 | 1 row in set (1.50 sec)


最大最小值完全是FULL TABLE SCAN,耗时1.50秒,不划算。以此看来。

 mysql> select sum(money),avg(money) from t_group_david; | sum(money) | avg(money) | | 319992383.84 | 246.417910 | 1 row in set (1.68 sec)


取得这两个结果也是花了快2秒,快了一点。

我们来看看这个小表的结构。

 mysql> desc t_group_david; | Field | Type | Null | Key | Default | Extra | | id | int(10) unsigned | NO | PRI | NULL | auto_increment |
| money | decimal(10,2) | NO | | | |
| user_name | varchar(20) | NO | MUL | | |
| create_time | timestamp | NO | | CURRENT_TIMESTAMP | | 4 rows in set (0.00 sec)


明显的user_name属性是多余的。那么就干掉它。

 mysql> alter table t_group_david drop user_name;
Query OK, 1298576 rows affected (7.58 sec)
Records: 1298576 Duplicates: 0 Warnings: 0


现在来重新对小表运行查询

mysql> select min(money),max(money) from t_group_david; | min(money) | max(money) | | -6.41 | 500.59 | 1 row in set (0.00 sec)


此时是瞬间的。

 mysql> select sum(money),avg(money) from t_group_david; | sum(money) | avg(money) | | 319992383.84 | 246.417910 | 1 row in set (0.94 sec)


这次算是控制在一秒以内了。

--转自 北京联动北方科技有限公司




赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论