Submitted by gouki on 2010, October 30, 12:30 AM
记录一个比较简便的mysql的主从同步设置步骤,方便日后使用。
安装环境
centos 5.4
mysql 5.1.xx 采用rpm直接安装
xtrabackup 1.2.22 采用rpm直接安装
XML/HTML代码
- [mysqld]
- server-id = 1
- log-bin
- innodb_flush_log_at_trx_commit=1
- sync_binlog=1
- datadir=/var/lib/mysql
- character-set-server=utf8
- init_connect='SET NAMES utf8'
设定了默认字符集为utf8,可以按实际情况取舍这段配置。
2. Slave:/etc/my.cnf
XML/HTML代码
- [mysqld]
- server-id=2
- datadir=/var/lib/mysql
- character-set-server=utf8
- init_connect='SET NAMES utf8'
3. Master:在master数据库设置用来同步的slave用户权限
XML/HTML代码
- GRANT REPLICATION SLAVE ON *.*
- TO '<slave_username>'@'<slave_ip>'
- IDENTIFIED BY '<slave_password>';
4. Master:导出数据到slave
采用xtrabackup来备份mysql,好处是在master的锁表时间很短,在实际的生产环境也可以使用,并且xtrabackup会自动记录同步日志文件的位置。
XML/HTML代码
- sudo innobackupex-1.5.1 --stream=tar /tmp/ | ssh <slave_host> "mkdir /tmp/db; tar xfi - -C /tmp/db/"
这个步骤会把master的数据包括表结构整个导出并压缩复制给slave,同时解压到slave的/tmp/db目录下。
5. Slave:导入数据到slave
XML/HTML代码
- innobackupex-1.5.1 --apply-log /tmp/db
- innobackupex-1.5.1 --copy-back /tmp/db
- chown -R mysql.mysql /var/lib/mysql/*
6. Slave:开始同步数据
查看/var/lib/mysql/xtrabackup_binlog_info,获得日志文件以及position。
XML/HTML代码
- CHANGE MASTER TO
- MASTER_HOST='<master_host>',
- MASTER_USER='<slave_username>',
- MASTER_PASSWORD='<slave_password>',
- MASTER_LOG_FILE='<see xtrabackup_binlog_info>',
- MASTER_LOG_POS=<see xtrabackup_binlog_info>;
- START SLAVE;
原文来自:http://www.ooso.net/archives/547,做个备份啦
Tags: mysql
DataBase | 评论:0
| 阅读:16947
Submitted by gouki on 2010, October 24, 9:30 PM
传说中,taobao公司的Dba很牛叉,只是一直在关注他们的博客时,发现QA其实也很牛叉。看他们每月的测试中都有一些算法题,而且完成这些题目的语言也是各种各样,也就觉得自己真的很丢人了。。。
看这个吧:Mysql Query Cache学习篇,讲的很详细,不知道淘宝的QA薪水怎么样,他们是怎么面对QA这个职业的,毕竟在很多公司QA都处于一种很尴尬的位置。博客精华文章,是淘宝QA他们的一些精华,确实值得一看。
再转一些javascript的东西,司徒正美博客上的:一些javascript题目,然后我也想着一个很奇怪的事情。好象DZ对firebug作了一点处理?屏蔽了firebug的console的输出(可能是写了同名函数等覆盖了?我没有仔细研究过,只是在测试DZ代码的时候发现没有数据输出)
最后再想着scala和java,前段时间看了一阵,但突然又忘光了。(如果工作中用不到这类语言,想真正学确实比较烦,等工作走上正轨后,就要开始考虑用这类语言做点东西了。)
Tags: mysql, querycache
DataBase | 评论:0
| 阅读:14987
Submitted by gouki on 2010, October 23, 7:37 PM
10月16日 ThinkInLamp Mysql专场中,杨涛涛作了关于MYSQL数据库的优化,最近他在自己的博客上将PPT放了出来,我在这里做一个简单的备份,其实还有SNDA几位DBA的PPT也已经出来了,他们的在thinkinlamp.com 上已经提供下载,我就不再转载了。
我个人相对来说还是比较喜欢mysql的优化,或许对于数据库的设计 我还是停留在程序员的阶层吧。
OK,翠花,上PPT(哦,是PDF版的)
101019150312.pdf
嗯。顺便再附上一份mysql优化的PPT
mysql-introduction-and-performance-optimization.ppt
Tags: thinkinlamp, mysql, ppt
DataBase | 评论:0
| 阅读:17179
Submitted by gouki on 2010, October 18, 11:51 PM
这两天有趣的事情非常多,比如,所谓的QQ一些内部培训资料流出,网上各大网盘啥的流量一下子就非常高了。我当然也不小心就下载了一份,还没有看,不过好象什么百度的资料上已经有在线看了。因为自己也没有看,所以也不太清楚这玩意是真是假。
OK,上正文,16日的MYSQL专场,对于mysql优化讲的较详细的应该算是杨涛涛,他对MYSQL的一些字段类型进行了些介绍,包括他们所含 的字节长度,来介绍给我们让我们了解如何对数据库进行优化,比如,尽量不要用bigint,因为,这在项目中几乎不可能会被用上而他们占的字节长度却是在int中最长的,在数据量大的时候,既占空间,又影响速度。
还介绍了datetime和timstamp等的区别(更多可以看我以前写的连载,里面也有介绍)
不过,他唯独没有提起ENUM字段,说起这个ENUM,它倒是mysql的一个特色字段,在以前很多人喜欢用它,因为他可以设置字段的区间范围,会让值可以被数据库所控制,不至于出现意料不到的值(比如,字段只想有0和1,结果出现了2,那2就是赃数据了)
但ENUM带来的问题也不少,比如数据迁移的时候,他几乎不可能被其他数据库所支持,如果enum里面是字符串,对于其他数据库来说就更郁闷了,还不能设为tinyint等类型的字段(enum虽然可以存储字符串,但对于内部来说,还是以顺序进行索引,比如'a','b','c',我们也可以用索引值来获取值select * from tbl_name whre enum = 2,这与select * from tbl_name where enum = 'b'等义)如果你看明白了这两句SQL为什么等义,那么你也就可以了解为什么不主张用enum字段了。
因为,如果一个设计不合理的ENUM字段,给程序员带来的就完全是梦魇了,比如一个enum字段的范围是('0','1','2','3','4','5'),我想这时候,你会不会哭呢?要知道enum的枚举值对应的索引是从1开始的,因此,insert into table (enum)values(1),你知道是插的什么值吗?你select from table一下,你就会发现,你插入的并不是1,而是0。
更有甚者,由于enum的区间也是可以变动的,如果你在enum的枚举字段范围中加一个值,并且不是加在最后,那么也就相当于,你把原来的范围都改变了索引值,试想这又是多么一个恐怖的事情?
因此,如果你的系统中真的已经使用了mysql的enum字段类型,请在查询的时候直接查询值(并加上单引号),这样就不会使用enum自身隐藏的索引值来获取结果了。【顺便说一下,enum的默认索引是从NULL开始,如果你允许NULL并default NULL】
之所以提起这个,是在用shopnc系统的时候发现大量这样的字段,让人非常郁闷,几乎没有办法优化(如果是纯数值型,还是建议采用tinyint字段吧,毕竟它也只占一个字节,即使出现赃数据,也可以被接受,不象enum,如果纯数字型范围,更改了索引,你就不知道你查询的值是否正确了)
因此建议,如果字段是字符串,并且长度固定,可以尝试用char,如果是数值型,还是用tinyint吧,比较安全稳定,而且即使迁移,问题也不大。
Tags: enum, mysql, tinyint
DataBase | 评论:1
| 阅读:55714
Submitted by gouki on 2010, October 17, 12:18 AM
在开始今天的话题之前,先感谢一下傲骨,在我向板子申请小海豚未果后,他让出了他的sun海豚。
再,感谢ThinkInLamp 组委会(http://www.thinkinlamp.com),也正是由于他们的努力,我们才有了今天这么一个专场(而且很多参与者也放弃了今天同时举办的其他几个专场,比如在篱笆网的前端专场(?UED??),还有复旦的ubuntu 10.10的专场等,好象还有一个,三马说了,也没有记清)
再,StingChen【http://my1930.com】在我们听讲的时候,努力的在新浪围脖【http://t.sina.com.cn/thinkinlamp】上拼命的在直播(如果他没有PPT,那就是他打字特别快了。。。)
然后就是赞助商和几位嘉宾了(感觉今天就是Action【爱可生】和盛大的专场,有些内容就不多写了,因为StingChen的新浪围脖直播上的内容详细程度堪比PPT啊【点击查看】,可惜不支持倒排。看的会稍微有点累)。
当然我们不能忽略一些幕后工作者,ThinkInLamp的组委会和一些志愿者,他们非常努力的想办好这次专场(据说很多人都是几乎一夜没睡,看到板子【http://blog.thephper.com】的脸都是白的,虽然他们没有经验,但非常努力)
OK,开始讲讲今天的内容吧。对于一些广告我就直接无视了,只记录讲技术的。
先是老谭(谭浚青)给大家介绍了Mysql的myisam与innodb的比较,虽然很多资料大家在应用中都有接触和了解,但他还是对于myisam的key buffer和innodb的bufferpool的调优有了介绍。其中他也介绍了一个小经验,是innodb调优的,说是如果raid卡上有电源模块,那么也就可以利用raid卡上的内存来优化redo log的传输性能。(好象没记错)老谭在介绍这些信息前也介绍了Action公司正在测试的一款新产品,利用服务器上的agent来进行mysql的监控(采用WEB方式进行管理,看他的几个截图倒是真的不错)
接下来就是盛大的赵佳佳介绍了SNS数据库的设计,主要介绍了一些数据库的拆分方案,可能由于小姑娘有点拘谨,虽然内容不错,但讲的一般,大概还是紧张了吧(不过,如果要是换成我,我还会更紧张)。对于数据库的拆分,还是传统的水平拆分和垂直拆分,这两点我就不多说了,网上资料更多。完了结束时,她介绍了Amoeba:分布式数据库Proxy(希望没说错)。
Oracle的杜玉松介绍了Mysql被收购后未来的一些roadmap,也算是让我们对MYSQL的未来有些信心,不至于过份迷惘吧。傲骨倒是对电信级的server非常感兴趣,只是我却对这些没有太大兴趣。当然分区表,也是我们关心的,用lvan的话来说这点在5.5的时候就会有很大的改进,不再象现在还会存在一些BUG,让人不太敢用(感觉好象说是可以智能分区了)
接下来又是盛大的哥们介绍数据库mangoDB【被人批评写错了,应该是mongodb】,对于这个数据库,了解的人真的很多,而且不管数据量的大小,很多人都也在进行尝试(只是我们的条件不如盛大,不太可能是一下子放上几十台服务器进行尝试)。这点就是小公司的DBA不如大公司的地方了,学习环境不够好啊(结束的时候,他略介绍了几个类似的数据库redis,tc等,在介绍memcache的时候说memcache的value最大只能有1M,而mangodbmongodb可以达到4M,但事实上从最近的1.4.2版开始,memcache在启动的时候加上参数,也可以指定value的最大值了)
最后让我有印象的是Action的杨涛涛,他是直接从代码上来介绍了数据库优化的了,讲的非常简洁,真的很简洁,几句话就带过了。不过有些技巧和经验还是让我眼前一亮。。
比如以下几个sql:
SQL代码
- Select * from t where name like '%de%'
- Select * from t where name like 'de%' 这是可优化的
- Select * from t where name >= 'de' and name < 'df' 如果字符串有规律也可以利用这种方式
-
- Select * from where 1
- Select * from where 1 limi 10
-
- Left join 不能仅对子表判断,可以对主表加过滤条件,避免全表扫描 。
-
- Select sql_no_cache * from new_ext order by id asc limit 20000,20
- Select sql_no_cache * from new_ext where id >= (select id from new_exit order by id ASC limit 20000,1) limit 20
- 这样的效率比上面略高
可惜杨涛涛对于存储过程、触发器、视图等没有过多的介绍,只是说了一下,视图,玩玩可以,不要在开发机上用就成(存储过程、触发器,我都在几年前看过,也做过一些小应用,只是,全忘光了,前段时间在导数据时,连个查询循环都搞不定了)
最后一位MM的mysql高可用性,我没有记录更多。。因为她介绍的几个方法,其实都已经在正式应用中了,虽然有考虑过換新的系统架构,但換的成本也会太高,不敢尝试。
当然也得提点建议,这次餐券的初衷挺好的,但给KFC造成了很大的压力呀,一下子,并发处理不过来了。
最后,感谢傲骨的小海豚,上两张相片:



Tags: thinkinlamp, mysql
PHP | 评论:1
| 阅读:18690