手机浏览 RSS 2.0 订阅 膘叔的简单人生 , 腾讯云RDS购买 | 超便宜的Vultr , 注册 | 登陆
浏览模式: 标准 | 列表Tag:mysql

摘:mysql主从同步快速设置

记录一个比较简便的mysql的主从同步设置步骤,方便日后使用。

安装环境

  • centos 5.4
  • mysql 5.1.xx 采用rpm直接安装
  • xtrabackup 1.2.22 采用rpm直接安装
  • XML/HTML代码
    1. [mysqld]  
    2. server-id = 1  
    3. log-bin  
    4. innodb_flush_log_at_trx_commit=1  
    5. sync_binlog=1  
    6. datadir=/var/lib/mysql  
    7. character-set-server=utf8  
    8. init_connect='SET NAMES utf8'  

    设定了默认字符集为utf8,可以按实际情况取舍这段配置。

    2. Slave:/etc/my.cnf
    XML/HTML代码
    1. [mysqld]  
    2. server-id=2  
    3. datadir=/var/lib/mysql  
    4. character-set-server=utf8  
    5. init_connect='SET NAMES utf8'  

    3. Master:在master数据库设置用来同步的slave用户权限
    XML/HTML代码
    1. GRANT REPLICATION SLAVE ON *.*  
    2. TO '<slave_username>'@'<slave_ip>'  
    3. IDENTIFIED BY '<slave_password>';  

    4. Master:导出数据到slave

    采用xtrabackup来备份mysql,好处是在master的锁表时间很短,在实际的生产环境也可以使用,并且xtrabackup会自动记录同步日志文件的位置。

    XML/HTML代码
    1. sudo innobackupex-1.5.1 --stream=tar /tmp/ | ssh <slave_host> "mkdir /tmp/db; tar xfi - -C /tmp/db/"  

     

    这个步骤会把master的数据包括表结构整个导出并压缩复制给slave,同时解压到slave的/tmp/db目录下。

    5. Slave:导入数据到slave
    XML/HTML代码
    1. innobackupex-1.5.1 --apply-log /tmp/db  
    2. innobackupex-1.5.1 --copy-back /tmp/db  
    3. chown -R mysql.mysql /var/lib/mysql/*  

    6. Slave:开始同步数据

    查看/var/lib/mysql/xtrabackup_binlog_info,获得日志文件以及position。

    XML/HTML代码
    1. CHANGE MASTER TO  
    2. MASTER_HOST='<master_host>',  
    3. MASTER_USER='<slave_username>',  
    4. MASTER_PASSWORD='<slave_password>',  
    5. MASTER_LOG_FILE='<see xtrabackup_binlog_info>',  
    6. MASTER_LOG_POS=<see xtrabackup_binlog_info>;  
    7. START SLAVE; 

     

    原文来自:http://www.ooso.net/archives/547,做个备份啦

    Tags: mysql

    杂谈

    传说中,taobao公司的Dba很牛叉,只是一直在关注他们的博客时,发现QA其实也很牛叉。看他们每月的测试中都有一些算法题,而且完成这些题目的语言也是各种各样,也就觉得自己真的很丢人了。。。

    看这个吧:Mysql Query Cache学习篇,讲的很详细,不知道淘宝的QA薪水怎么样,他们是怎么面对QA这个职业的,毕竟在很多公司QA都处于一种很尴尬的位置。博客精华文章,是淘宝QA他们的一些精华,确实值得一看。

    再转一些javascript的东西,司徒正美博客上的:一些javascript题目,然后我也想着一个很奇怪的事情。好象DZ对firebug作了一点处理?屏蔽了firebug的console的输出(可能是写了同名函数等覆盖了?我没有仔细研究过,只是在测试DZ代码的时候发现没有数据输出)

    最后再想着scala和java,前段时间看了一阵,但突然又忘光了。(如果工作中用不到这类语言,想真正学确实比较烦,等工作走上正轨后,就要开始考虑用这类语言做点东西了。)

    Tags: mysql, querycache

    ThinkInLamp Mysql专场之杨涛涛 的PPT

    10月16日 ThinkInLamp Mysql专场中,杨涛涛作了关于MYSQL数据库的优化,最近他在自己的博客上将PPT放了出来,我在这里做一个简单的备份,其实还有SNDA几位DBA的PPT也已经出来了,他们的在thinkinlamp.com 上已经提供下载,我就不再转载了。
    我个人相对来说还是比较喜欢mysql的优化,或许对于数据库的设计 我还是停留在程序员的阶层吧。

    OK,翠花,上PPT(哦,是PDF版的)
    101019150312.pdf

    嗯。顺便再附上一份mysql优化的PPT
    mysql-introduction-and-performance-optimization.ppt

    Tags: thinkinlamp, mysql, ppt

    慎用mysql的enum字段

    这两天有趣的事情非常多,比如,所谓的QQ一些内部培训资料流出,网上各大网盘啥的流量一下子就非常高了。我当然也不小心就下载了一份,还没有看,不过好象什么百度的资料上已经有在线看了。因为自己也没有看,所以也不太清楚这玩意是真是假。

    OK,上正文,16日的MYSQL专场,对于mysql优化讲的较详细的应该算是杨涛涛,他对MYSQL的一些字段类型进行了些介绍,包括他们所含 的字节长度,来介绍给我们让我们了解如何对数据库进行优化,比如,尽量不要用bigint,因为,这在项目中几乎不可能会被用上而他们占的字节长度却是在int中最长的,在数据量大的时候,既占空间,又影响速度。

    还介绍了datetime和timstamp等的区别(更多可以看我以前写的连载,里面也有介绍)

    不过,他唯独没有提起ENUM字段,说起这个ENUM,它倒是mysql的一个特色字段,在以前很多人喜欢用它,因为他可以设置字段的区间范围,会让值可以被数据库所控制,不至于出现意料不到的值(比如,字段只想有0和1,结果出现了2,那2就是赃数据了)

    但ENUM带来的问题也不少,比如数据迁移的时候,他几乎不可能被其他数据库所支持,如果enum里面是字符串,对于其他数据库来说就更郁闷了,还不能设为tinyint等类型的字段(enum虽然可以存储字符串,但对于内部来说,还是以顺序进行索引,比如'a','b','c',我们也可以用索引值来获取值select * from tbl_name whre enum = 2,这与select * from tbl_name where enum = 'b'等义)如果你看明白了这两句SQL为什么等义,那么你也就可以了解为什么不主张用enum字段了。

    因为,如果一个设计不合理的ENUM字段,给程序员带来的就完全是梦魇了,比如一个enum字段的范围是('0','1','2','3','4','5'),我想这时候,你会不会哭呢?要知道enum的枚举值对应的索引是从1开始的,因此,insert into table (enum)values(1),你知道是插的什么值吗?你select from table一下,你就会发现,你插入的并不是1,而是0。

    更有甚者,由于enum的区间也是可以变动的,如果你在enum的枚举字段范围中加一个值,并且不是加在最后,那么也就相当于,你把原来的范围都改变了索引值,试想这又是多么一个恐怖的事情?

    因此,如果你的系统中真的已经使用了mysql的enum字段类型,请在查询的时候直接查询值(并加上单引号),这样就不会使用enum自身隐藏的索引值来获取结果了。【顺便说一下,enum的默认索引是从NULL开始,如果你允许NULL并default NULL】

    之所以提起这个,是在用shopnc系统的时候发现大量这样的字段,让人非常郁闷,几乎没有办法优化(如果是纯数值型,还是建议采用tinyint字段吧,毕竟它也只占一个字节,即使出现赃数据,也可以被接受,不象enum,如果纯数字型范围,更改了索引,你就不知道你查询的值是否正确了)

    因此建议,如果字段是字符串,并且长度固定,可以尝试用char,如果是数值型,还是用tinyint吧,比较安全稳定,而且即使迁移,问题也不大。

    Tags: enum, mysql, tinyint

    ThinkInLamp Mysql专场

    在开始今天的话题之前,先感谢一下傲骨,在我向板子申请小海豚未果后,他让出了他的sun海豚。
    再,感谢ThinkInLamp 组委会(http://www.thinkinlamp.com),也正是由于他们的努力,我们才有了今天这么一个专场(而且很多参与者也放弃了今天同时举办的其他几个专场,比如在篱笆网的前端专场(?UED??),还有复旦的ubuntu 10.10的专场等,好象还有一个,三马说了,也没有记清)
    再,StingChen【http://my1930.com】在我们听讲的时候,努力的在新浪围脖【http://t.sina.com.cn/thinkinlamp】上拼命的在直播(如果他没有PPT,那就是他打字特别快了。。。)
    然后就是赞助商和几位嘉宾了(感觉今天就是Action【爱可生】和盛大的专场,有些内容就不多写了,因为StingChen的新浪围脖直播上的内容详细程度堪比PPT啊【点击查看】,可惜不支持倒排。看的会稍微有点累)。
    当然我们不能忽略一些幕后工作者,ThinkInLamp的组委会和一些志愿者,他们非常努力的想办好这次专场(据说很多人都是几乎一夜没睡,看到板子【http://blog.thephper.com】的脸都是白的,虽然他们没有经验,但非常努力)
    OK,开始讲讲今天的内容吧。对于一些广告我就直接无视了,只记录讲技术的。
    先是老谭(谭浚青)给大家介绍了Mysql的myisam与innodb的比较,虽然很多资料大家在应用中都有接触和了解,但他还是对于myisam的key buffer和innodb的bufferpool的调优有了介绍。其中他也介绍了一个小经验,是innodb调优的,说是如果raid卡上有电源模块,那么也就可以利用raid卡上的内存来优化redo log的传输性能。(好象没记错)老谭在介绍这些信息前也介绍了Action公司正在测试的一款新产品,利用服务器上的agent来进行mysql的监控(采用WEB方式进行管理,看他的几个截图倒是真的不错)
    接下来就是盛大的赵佳佳介绍了SNS数据库的设计,主要介绍了一些数据库的拆分方案,可能由于小姑娘有点拘谨,虽然内容不错,但讲的一般,大概还是紧张了吧(不过,如果要是换成我,我还会更紧张)。对于数据库的拆分,还是传统的水平拆分和垂直拆分,这两点我就不多说了,网上资料更多。完了结束时,她介绍了Amoeba:分布式数据库Proxy(希望没说错)。
    Oracle的杜玉松介绍了Mysql被收购后未来的一些roadmap,也算是让我们对MYSQL的未来有些信心,不至于过份迷惘吧。傲骨倒是对电信级的server非常感兴趣,只是我却对这些没有太大兴趣。当然分区表,也是我们关心的,用lvan的话来说这点在5.5的时候就会有很大的改进,不再象现在还会存在一些BUG,让人不太敢用(感觉好象说是可以智能分区了)
    接下来又是盛大的哥们介绍数据库mangoDB【被人批评写错了,应该是mongodb】,对于这个数据库,了解的人真的很多,而且不管数据量的大小,很多人都也在进行尝试(只是我们的条件不如盛大,不太可能是一下子放上几十台服务器进行尝试)。这点就是小公司的DBA不如大公司的地方了,学习环境不够好啊(结束的时候,他略介绍了几个类似的数据库redis,tc等,在介绍memcache的时候说memcache的value最大只能有1M,而mangodbmongodb可以达到4M,但事实上从最近的1.4.2版开始,memcache在启动的时候加上参数,也可以指定value的最大值了)
    最后让我有印象的是Action的杨涛涛,他是直接从代码上来介绍了数据库优化的了,讲的非常简洁,真的很简洁,几句话就带过了。不过有些技巧和经验还是让我眼前一亮。。
    比如以下几个sql:

    SQL代码
    1. Select * from t where name like '%de%'  
    2. Select * from t where name like 'de%' 这是可优化的  
    3. Select * from t where name >= 'de' and name < 'df' 如果字符串有规律也可以利用这种方式  
    4.   
    5. Select * from where 1  
    6. Select * from where 1 limi 10  
    7.   
    8. Left join 不能仅对子表判断,可以对主表加过滤条件,避免全表扫描 。  
    9.   
    10. Select sql_no_cache * from new_ext order by id asc limit 20000,20   
    11. Select sql_no_cache * from new_ext where id >= (select id from new_exit order by id ASC limit 20000,1) limit 20  
    12. 这样的效率比上面略高  

    可惜杨涛涛对于存储过程、触发器、视图等没有过多的介绍,只是说了一下,视图,玩玩可以,不要在开发机上用就成(存储过程、触发器,我都在几年前看过,也做过一些小应用,只是,全忘光了,前段时间在导数据时,连个查询循环都搞不定了)
    最后一位MM的mysql高可用性,我没有记录更多。。因为她介绍的几个方法,其实都已经在正式应用中了,虽然有考虑过換新的系统架构,但換的成本也会太高,不敢尝试。

    当然也得提点建议,这次餐券的初衷挺好的,但给KFC造成了很大的压力呀,一下子,并发处理不过来了。
    最后,感谢傲骨的小海豚,上两张相片:
    大小: 656.94 K
尺寸: 500 x 375
浏览: 1641 次
点击打开新窗口浏览全图
    大小: 618.56 K
尺寸: 500 x 375
浏览: 1582 次
点击打开新窗口浏览全图
    大小: 603.51 K
尺寸: 282 x 376
浏览: 1595 次
点击打开新窗口浏览全图

    Tags: thinkinlamp, mysql

    Records:11312345678910»