手机浏览 RSS 2.0 订阅 膘叔的简单人生 , 腾讯云RDS购买 | 超便宜的Vultr , 注册 | 登陆
浏览模式: 标准 | 列表Tag:mysql

MySQL索引的知识点

数据库是否建索引以及如何更好的建索引,当然是有讲究的。虽然都知道建了索引后,在按条件搜索的时候速度会快很多,但其实,如果索引建的不合理,反而是使得数据库效率降低。何时需要建索引,其实是值得深究的,创建之后,怎样判断效率,当然还得好好学习。要多做尝试才会知道。

这一篇讲的比较详细,所以就转载了,来自冰山的http://xinsync.xju.edu.cn/index.php/archives/6845。

在数据库表中,对字段建立索引可以大大提高查询速度。假如我们创建了一个 mytable表:

SQL代码
  1. CREATE TABLE mytable(  
  2.     ID INT NOT NULL,  
  3.     username VARCHAR(16) NOT NULL  
  4. );  

 

我们随机向里面插入了10000条记录,其中有一条:5555, admin。

在查找 username=”admin” 的记录 SELECT * FROM mytable WHERE username=’admin’; 时,如果在username上已经建立了索引,MySQL无须任何扫描,即准确可找到该记录。相反,MySQL会扫描所有记录,即要查询10000条记 录。

索引分单列索引和组合索引。单列索引,即一个索引只包含单个列,一个表可以有多个单列索引,但这不是组合索引。组合索引,即一个索包含多个列。

索引的类型包括:

(1)普通索引
这是最基本的索引,它没有任何限制。它有以下几种创建方式:
●     创建索引

SQL代码
  1. CREATE INDEX indexName ON mytable(username(length));  

如果是CHAR,VARCHAR类型,length可以小于字段实际长度;如果是BLOB和TEXT类型,必须指定 length,下同。
●     修改表结构

SQL代码
  1. ALTER mytable ADD INDEX [indexName] ON (username(length))  

●     创建表的时候直接指定

SQL代码
  1. CREATE TABLE mytable(  
  2.     ID INT NOT NULL,  
  3.     username VARCHAR(16) NOT NULL,  
  4.     INDEX [indexName] (username(length))  
  5. );  

 

删除索引的语法:

SQL代码
  1. DROP INDEX [indexName] ON mytable;  


(2)唯一索引

 

它与前面的普通索引类似,不同的就是:索引列的值必须唯一,但允许有空值。如果是组合索引,则列值的组合必须唯一。它有以下几种创建方式:
●     创建索引

SQL代码
  1. CREATE UNIQUE INDEX indexName ON mytable(username(length))  

 

●     修改表结构

SQL代码
  1. ALTER mytable ADD UNIQUE [indexName] ON (username(length))  

 

●     创建表的时候直接指定

SQL代码
  1. CREATE TABLE mytable(  
  2.     ID INT NOT NULL,  
  3.     username VARCHAR(16) NOT NULL,  
  4.     UNIQUE [indexName] (username(length))  
  5. );  

 

(3)主键索引

它是一种特殊的唯一索引,不允许有空值。一般是在建表的时候同时创建主键索引:

SQL代码
  1. CREATE TABLE mytable(  
  2.     ID INT NOT NULL,  
  3.     username VARCHAR(16) NOT NULL,  
  4.     PRIMARY KEY(ID)  
  5. );  

 

当然也可以用 ALTER 命令。记住:一个表只能有一个主键。

(4)组合索引

为了形象地对比单列索引和组合索引,为表添加多个字段:

SQL代码
  1. CREATE TABLE mytable(  
  2.     ID INT NOT NULL,  
  3.     username VARCHAR(16) NOT NULL,  
  4.     city VARCHAR(50) NOT NULL,  
  5.     age INT NOT NULL  
  6. );  

 

为了进一步榨取MySQL的效率,就要考虑建立组合索引。就是将 name, city, age建到一个索引里:

SQL代码
  1. ALTER TABLE mytable ADD INDEX name_city_age (name(10),city,age);  

 

建表时,usernname长度为 16,这里用 10。这是因为一般情况下名字的长度不会超过10,这样会加速索引查询速度,还会减少索引文件的大小,提高INSERT的更新速度。

如果分别在 usernname,city,age上建立单列索引,让该表有3个单列索引,查询时和上述的组合索引效率也会大不一样,远远低于我们的组合索引。虽然此 时有了三个索引,但MySQL只能用到其中的那个它认为似乎是最有效率的单列索引。

建立这样的组合索引,其实是相当于分别建立了下面三组组合索引:

SQL代码
  1. usernname,city,age  
  2. usernname,city  
  3. usernname  

为什么没有 city,age这样的组合索引呢?这是因为MySQL组合索引“最左前缀”的结果。简单的理解就是只从最左面的开始组合。并不是只要包含这三列的查询都 会用到该组合索引,下面的几个SQL就会用到这个组合索引:

SQL代码
  1. SELECT * FROM mytable WHREE username="admin" AND city="乌鲁木齐"  
  2. SELECT * FROM mytable WHREE username="admin"  

而下面几个则不会用到:

SQL代码
  1. SELECT * FROM mytable WHREE age=20 AND city="乌鲁木齐"  
  2. SELECT * FROM mytable WHREE city="乌鲁木齐"  

 

(5)建立索引的时机

到这里我们已经学会了建立索引,那么我们需要在什么情况下建立索引呢?一般来说,在WHERE和JOIN中出现的列需要建立索引,但也不完全如此, 因为 MySQL只对<,<=,=,>,>=,BETWEEN,IN,以及某些时候的LIKE才会使用索引。例如:

SQL代码
  1. SELECT t.Name  
  2. FROM mytable t LEFT JOIN mytable m  
  3. ON t.Name=m.username WHERE m.age=20 AND m.city='乌鲁木齐'  

 

此时就需要对city和age建立索引,由于mytable表的userame也出现在了JOIN子句中,也有对它建立索引的必要。

刚才提到只有某些时候的LIKE才需建立索引。因为在以通配符%和_开头作查询时,MySQL不会使用索引。例如下句会使用索引:

SQL代码
  1. SELECT * FROM mytable WHERE username LIKE'admin%'  

而下句就不会使用:

SQL代码
  1. SELECT * FROM mytable WHEREt Name LIKE'%admin'  

 

因此,在使用LIKE时应注意以上的区别。

(6)索引的不足之处

上面都在说使用索引的好处,但过多的使用索引将会造成滥用。因此索引也会有它的缺点:

●     虽然索引大大提高了查询速度,同时却会降低更新表的速度,如对表进行INSERT、UPDATE和DELETE。因为更新表时,MySQL不仅要保存数 据,还要保存一下索引文件。

●     建立索引会占用磁盘空间的索引文件。一般情况这个问题不太严重,但如果你在一个大表上创建了多种组合索引,索引文件的会膨胀很快。

索引只是提高效率的一个因素,如果你的MySQL有大数据量的表,就需要花时间研究建立最优秀的索引,或优化查询语句。

(7)使用索引的注意事项

使用索引时,有以下一些技巧和注意事项:

●     索引不会包含有NULL值的列

只要列中包含有NULL值都将不会被包含在索引中,复合索引中只要有一列含有NULL值,那么这一列对于此复合索引就是无效的。所以我们在数据库设 计时不要让字段的默认值为NULL。

●     使用短索引

对串列进行索引,如果可能应该指定一个前缀长度。例如,如果有一个CHAR(255)的列,如果在前10个或20个字符内,多数值是惟一的,那么就 不要对整个列进行索引。短索引不仅可以提高查询速度而且可以节省磁盘空间和I/O操作。

●     索引列排序

MySQL查询只使用一个索引,因此如果where子句中已经使用了索引的话,那么order by中的列是不会使用索引的。因此数据库默认排序可以符合要求的情况下不要使用排序操作;尽量不要包含多个列的排序,如果需要最好给这些列创建复合索引。

●     like语句操作

一般情况下不鼓励使用like操作,如果非使用不可,如何使用也是一个问题。like “%aaa%” 不会使用索引而like “aaa%”可以使用索引。

●     不要在列上进行运算

SQL代码
  1. SELECT * FROM users WHERE YEAR(adddate)<2007;  

 

将在每个行上进行运算,这将导致索引失效而进行全表扫描,因此我们可以改成

SQL代码
  1. SELECT * FROM users WHERE adddate< '2007-01-01';  

 

●     不使用NOT IN和<>操作

NOT IN和<>操作都不会使用索引将进行全表扫描。NOT IN可以使用NOT EXISTS代替,id<>3则可以使用id>3 or id<3来代替。

--EOF--

本博客内部关于MYSQL索引的相关文章有:

MYSQL索引之小小分析

 

 

 

 

 

 

 

 

 

 

 

 

 

 

[分享]mysql数据库索引查询优化的分享

联合索引的经典例子

当然,对于索引,肯定要看MYSQL中EXPLAIN的说明

Tags: mysql, index, 索引, 知识点, explain

MYSQL汉字乱码的解决方案

其实以前也写过类似的东西,只是最近又有朋友在群里问我这样的事情,一时间在博客上没有找到,于是准备重写了一遍。

一般说来,我们所说的编码格式一致:可以如下图所示:character_set_client,character_set_connection,character_set_database,character_set_results,character_set_server编码要一致

大小: 3.23 K
尺寸: 459 x 182
浏览: 1586 次
点击打开新窗口浏览全图

初始情况的修改就是在my.ini里加上:default-character-set=utf8 【这个请使用适当的编码】

在程序中,我们如果是用mysql类库,往往都是在连接上后来运行:mysql_query("set names utf8"),这一句查询其实 就是那句set character_set_connection=utf8, character_set_results=utf8, character_set_client=binary 的集合。

在PHP5的时候,如果你使用的mysql数据库版本大于5.0.7,你还可以用:mysql_set_charset这个方法直接定义。

所以,相对来说,处理乱码问题,参考这些就可以搞定了。

Tags: mysql, utf8, gbk

Facebook新开源项目Flashcache:加速MySQL

Facebook发布了通过将数据缓存在SSD硬盘加速MySQL的内核模块Flashcache。代码已经放到Github上,目前只测试了Linux kernel版本2.6.18和2.6.20。
Facebook 称,Flashcache是其内部开发用于帮助扩展InnoDB/MySQL数据库,但同时Flashcache也是作为一个通用的缓存模块设计的,因此 能用在任何搭建在块设备之上的应用程序。

对于InnoDB,当工作集不与 InnoDB缓冲池一致,由于更多的工作集缓存在快速的媒介如固态硬盘上,将能显著的改进读取延迟。

--EOF--
没有测试,也无法测试,毕竟我没有SSD硬盘。纯新闻http://www.cnbeta.com/articles/109988.htm,突然发现,原来cnbeta的文章已经11万左右了

Tags: facebook, flashcache, mysql

MySQL和SQL字段截短漏洞

这篇文章很有意思,以前注意过,但没仔细考虑过用来注入,或许就象王猛说的:

    了解很长一段时间的web安全了,个人觉得世上最聪明的程序员其实是黑客,一次想N步,逻辑超强,技术全面,从操作系统漏洞、到语言本身漏洞、数据库本身漏洞、再到开发者代码,无孔不入。

文章来自寂寞hacker,http://hi.baidu.com/isbx/blog/item/08ef48547ef1ad58574e00bf.html:
当前的Web开发者中肯定有不少人没有注意到作者所提到的这两个问题的。

第一个问题是这样的,MySQL默认有一个配置参数 max_packet_size,这个参数是用于限制MySQL客户端和MySQL服务器端数据通信的数据包大小,MySQL的默认配置是1MB。如果客 户端发送的数据超过了1MB,则MySQL服务器端会忽略掉这个请求数据。作者接下来举了两个利用这个缺陷的例子,第一个是利用超长数据来使MySQL的 日志记录程序失效,第二个是在PHP+MySQL的环境下,PHP的Session清理程序会由于一次发送的清理session数据的请求数据包超过 max_packet_size的限制,而导致清理session失败。

而实际上,由于很多PHP+MySQL的程序都会运行用户上传附件之类,而一般的PHP+MySQL的上传附件限制都是大于1MB的,所以PHP的 程序开发人员一般是会去修改max_packet_size的值为大于1MB。这就给我们的漏洞利用带来了一定的麻烦,毕竟在当前的网络状况下,构造 1MB多的数据去上传还是可以忍受的。但是太大的数据量就比较考验我们的耐心了,呵呵。

第二个问题就比较严重了,MySQL对于超过字段长度的数据插入操作会进行默认的字符串截短。例如一个字段定义的长度为10,如果插入的字符串长度 超过10,MySQL会将长度超过10的部分字符串自动舍去后插入到数据表中。默认配置条件下,MySQL会产生一个警告信息,但是这个警告信息不会被 Web应用程序捕获到。所以,从表面上来看,超长数据也是可以“成功”插入数据表的。作者在下面举的这个例子就很有代表性了,首先是一个场景假设:

  • The application is a forum where new users can register
  • The administrator’s name is known e.g. ‘admin’
  • MySQL is used in the default mode
  • There is no application restriction on the length of new user names
  • The database column username is limited to 16 characters

用户如果尝试注册一个用户名为admin的用户,会由于Web应用程序中的isAlreadyRegistered函数的校验而注册失败。

SQL代码
  1. SELECT * FROM user WHERE username='admin'  

但如果用户使用用户名’admin           x’来注册(注意admin和x之间有11个空格),则注册流程会是这样的:

isAlreadyRegistered函数会使用上面的SQL语句来检查user表中是否存在相同用户名的用户,查询结果肯定是不存在的。那么用户注册成功!

实际上,真正插入到user表中的用户名是’admin’!也就是说,MySQL不仅会截短超过长度限制部分的字符串,也会对字符串头尾的空白字符进行截短!所以,在user表中,现在存在了两个admin用户!

接下来,用户登陆,他使用的是用户名admin,密码是他刚才设置的’admin           x’的密码。假设Web应用程序的登陆认证和授权函数是这样的一段代码:

PHP代码
  1. $userdata = null;  
  2. if (isPasswordCorrect($username$password)) {  
  3.    $userdata = getUserDataByLogin($username);  
  4.    ...  
  5. }  

其中isPasswordCorrect函数使用的SQL语句为:

SQL代码
  1. SELECT username FROM users WHERE username = ? AND passhash = ?  

getUserDataByLogin函数使用的SQL语句为:

SQL代码
  1. SELECT * FROM users WHERE username = ?  

可以看得出,上面的语句使用了预编译的SQL语句,是无法实施SQL注入的。但是由于MySQL的默认字段截短策 略,isPasswordCorrect函数会成功执行并返回用户名admin,接下来的getUserDataByLogin也会正确执行,返回的结果 虽然是一个数组,但是Web应用程序一般是取返回数组中的第一个结果,也就是真正的管理员用户admin的所有数据!

怎么样,不用SQL注入,一样拿到管理员权限!

后记:经过测试,上面的漏洞利用过程在MySQL 4中是确实存在并且可以利用的。但是在MySQL 5中,本机测试失败。失败的关键就在于MySQL 5对于超过字段长度限制的字符串插入会报错,并停止字符串插入操作。

附:MySQL 4的测试过程

SQL代码
  1. mysql> select * from tb_sqltest where name='jason';  
  2. +----+-------+--------+------+------+------+------+  
  3. | id | name  | remark | time | col1 | col2 | col3 |  
  4. +----+-------+--------+------+------+------+------+  
  5. |  1 | jason | NULL    | NULL | NULL | NULL | NULL |  
  6. +----+-------+--------+------+------+------+------+  
  7. 1 row in set  
  8.   
  9. mysql> select * from tb_sqltest where name='jason        x';  
  10. Empty set  
  11.   
  12. mysql> insert into tb_sqltest (id,namevalues (2,'jason        x');  
  13. Query OK, 1 row affected  
  14.   
  15. mysql> select * from tb_sqltest where name='jason';  
  16. +----+-------+--------+------+------+------+------+  
  17. | id | name  | remark | time | col1 | col2 | col3 |  
  18. +----+-------+--------+------+------+------+------+  
  19. |  1 | jason | NULL    | NULL | NULL | NULL | NULL |  
  20. |  2 | jason | NULL    | NULL | NULL | NULL | NULL |  
  21. +----+-------+--------+------+------+------+------+  
  22. rows in set  

 

 

 

 

 

Tags: mysql

如何清除mysql的mysql-bin日志

想把自己所有的数据打个包,结果才发现,原来我的目录居然有30多G,把曾给卖给别人的空间中的19G数据清除后,发现还有12G的软件数据,惊讶的要死,去看了一下,用的是懒宝宝的告诉我的命令:du -sh /xxxxx/
发现mysql/data下的数据居然有12G,想着怎么也不可能会有这么大的数据啊?仔细一看,原来这12G全是log文件。找了一些资料,才把这个log清除掉。。
方法如下:
第一种技巧:

XML/HTML代码
  1. 1 查询musql-bin,mysql操作日志  
  2. mysql> show master logs;  
  3.   
  4. 2 删除,保留最新  
  5. mysql>purge master logs to ‘mysql-bin.00001′;  
  6.   
  7. 3 my.cnf中去掉log-bin就可不让生成这些日志文件了。  

第二种技巧:

XML/HTML代码
  1. 清理mysql的日志文件  
  2. 发现var/db/mysql目录下有这么多  
  3. mysql-bin.000001  
  4. …  
  5. mysql-bin.000023  
  6. mysql-bin.index  
  7. 而且比较大  
  8.   
  9. 数据库的操作日志  
  10. mysql> reset master;  
  11. 可以清理这些文件。  

这两种情况都可以,比较偏 向于第一种,但我是因为要备份就直接用的第二种了。反正数据也没有出错过,资料来自于:http://www.tech-q.cn/thread-3198-1-1.html

Tags: mysql, mysql-bin, 日志