手机浏览 RSS 2.0 订阅 膘叔的简单人生 , 腾讯云RDS购买 | 超便宜Qcloud , 注册 | 登陆
浏览模式: 标准 | 列表Tag:mysql

IBDATAi清除

其实之前也遇到过样的问题,但这次是发生在虚拟机上,所以不得不再次记录一下
虚拟机磁盘空间有限,因此,当ibdata1的文件过大的时候,机器动不了了,一重启之后,mysql也无法启动了。哭
一看ibdata1居然就占用了我800多M的空间,我一共是8G的虚拟机,这怎么吃得消?于是找了篇文章做参考。
ibdata1是mysql使用InnoDB引擎的时候需要使用的文件。这个文件有的时候会变得很大,并且在你删除数据的时候,文件也不减小。这意味着,即使我将数据库啥的清空了也没啥用,ibdata1大小仍然保持不变。
不得已,只能做了如下操作
1、对每张表使用单独的innoDB文件, 修改/etc/my.cnf文件
[mysqld]
innodb_file_per_table

2、 导出所有的数据,重建数据库,然后恢复数据:
# /usr/bin/mysqldump -R -q --all-databases > /temp/all.sql
# service mysql stop ,ubuntu下面可以是/etc/init.d/mysql stop
# rm -fr /var/lib/mysql/*
# /usr/bin/mysql_install_db
# service mysql restart ,同上/etc/init.d/mysql start
# mysql < /tmp/all.sql

这样导入的sql,root是没有用户名的,所以还需要再设置一下

  1. >use mysql  
  2. >update user set password=password("new_pass") where user="root";  
  3. >flush privileges;

如果这样还不行,参考这一篇:http://neatstudio.com/show-1042-1.shtml

3、 /var/lib/mysql的每个数据库下面,都有会很多的.ibd文件。这些分散的.ibd文件取代了原来的那个ibddata1。
以后删除数据库的时候,直接删除某个数据库的目录就可以了

-------EOF-------
以上的参考来自于:http://bbs.chinaunix.net/thread-3646471-1-1.html
还有一段:
mysql 使用的引擎:
mysql> show engines;
+------------+---------+----------------------------------------------------------------+
| Engine | Support | Comment |
+------------+---------+----------------------------------------------------------------+
| MyISAM | DEFAULT | Default engine as of MySQL 3.23 with great performance |
| MEMORY | YES | Hash based, stored in memory, useful for temporary tables |
| InnoDB | YES | Supports transactions, row-level locking, and foreign keys |
| BerkeleyDB | YES | Supports transactions and page-level locking |
| BLACKHOLE | NO | /dev/null storage engine (anything you write to it disappears) |
| EXAMPLE | NO | Example storage engine |
| ARCHIVE | NO | Archive storage engine |
| CSV | NO | CSV storage engine |
| ndbcluster | NO | Clustered, fault-tolerant, memory-based tables |
| FEDERATED | NO | Federated MySQL storage engine |
| MRG_MYISAM | YES | Collection of identical MyISAM tables |
| ISAM | NO | Obsolete storage engine |
+------------+---------+----------------------------------------------------------------+
12 rows in set (0.00 sec)
For InnoDB tables, OPTIMIZE TABLE is mapped to ALTER TABLE, which rebuilds the table to update index statistics and free unused space in the clustered index.
所以不会直接来减少ibdata的文件尺寸。
减少ibdata的方法如下

- 1. 用mysqldump等工具导出数据 - 2. 停止 mysqld
- 3. 删除ibdata*, ib_logfile* 文件
- 4. 重新启动 mysqld(这时mysqld就会自动创建 idbdata*, ib_logfile* 文件)

- 5. 将到出来的数据导回去,体积才会减小。

Tags: mysql

工作笔记

一个句子的迁移,一个粗心:
原mysql代码是:select date_format(from_unixtime(xxx),'%Y-%M') as xxxxx from table group by xxxxx

sql server转换后:
select (select dateadd(ss,xxx,'1970-01-01 08:00:00')) as xxxxx from table group by xxxxx
因为sql server不支持将as 后的内容做聚集,只能:
select dateadd(ss,xxx,'1970-01-01 08:00:00') as xxxxx from table group by (select dateadd(ss,xxx,'1970-01-01 08:00:00'))
但又报错,说是group by 不能使用子查询。

仔细想了想,(select dateadd(ss,xxx,'1970-01-01 08:00:00')) as xxxxx,这个select用来干嘛 ?如果是在查询分析器里,当然是要用select,因为要输出嘛,但是在sql语句中。。。
不需要啊。

记录一下。

Tags: sqlserver, mysql, convert

备份:sqlserver to mysql

从sqlserver转到mysql上相对还是比较方便的,外面的工具层出不穷,比如dbconverter之类的,可惜它是商业版,而且,15M左右,还TNND没有破解版。
问了一下google和百度,最终度娘没有帮我解决,而且谷哥告诉我答案了:http://www.cnblogs.com/andrew-blog/archive/2011/12/03/SQL_mss2sql.html
然后下载到本地。做个备份,以后可以直接用
下载:mss2sql.rar
只有1.3M哦,非常好用,昨天帮一个朋友转数据的时候,只花了大约半小时左右转换了将近1G左右的数据。

由于用法简单就不多做介绍了,sqlserver的登录可以直接选系统登录,而不需要输入密码,你懂的。甚至可以支持远程导入,黑黑。。。当然这受限于网络带宽的传输了。
如果还不会,就看我上面的URL吧,里面有图文教学,不过我相信,即使没有教学,也是下一步下一步就会搞的。

Tags: sqlserver, mysql, convert

增加MYSQL的插入值的容错性

众所周知,我们在插入数据库的时候,都是:insert into table (xxx) values('0');这种方式。
嗯,如果xxx是char或者varchar,并不会出错,但如果xxx是int型或者日期型,则可能会出错,也可能不出错,这是由您的配置决定的。
您可以看这里:
1.修改my.ini

XML/HTML代码
  1. ctrl+f 查找 sql-mode  
  2.   
  3. 将它值改为 "ANSI"  
  4. sql-mode="ANSI";  
  5. 重启数据库,就ok了.  

2.动态修改数据库模式

XML/HTML代码
  1. 在启动数据库后,使用sql语句 SET sql_mode='ansi' ,   

就ok了

--------------------------------------------------
第2个方法没用过.... T.T
手册地址在这.
http://doc.mysql.cn/mysql5/refman-5.1-zh.html-chapter/database-administration.html#server-sql-mode
sql-mode 是服务器模式
值的不同,mysql处理sql语句的方式也不同.

当值为ansi时,
mysql将更改sql语句的语法和行为,使其更符合标准SQL。
说白了,就是会修改错误.容错性高.

这样你给datetime项 和 int项 插入 空字符串,
mysql会将datetime的空字符改为 0000-00-00 00:00,
将int的空字符串改为0 .
其他值的作用.自己看手册.
-------上面这一段内容来自:http://ymx.iteye.com/blog/829046
是因为fireguns在询问的时候才想起要查这玩意,所以我就问了一下google

然后,firegus找到的资料是:

XML/HTML代码
  1. # Set the SQL mode to strict  
  2. sql-mode=”STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION”  
  3.   
  4. 改为:  
  5.   
  6. # Set the SQL mode to strict  
  7. sql-mode=”NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION”  

手册上说的SQLMODE是指:

XML/HTML代码
  1. 5.3.2. SQL服务器模式  
  2.   
  3. MySQL服务器可以以不同的SQL模式来操作,并且可以为不同客户端应用不同模式。这样每个应用程序可以根据自己的需求来定制服务器的操作模式。  
  4.   
  5. 模式定义MySQL应支持哪些SQL语法,以及应执行哪种数据验证检查。这样可以更容易地在不同的环境中使用MySQL,并结合其它数据库服务器使用MySQL。  
  6.   
  7. 你可以用--sql-mode="modes"选项启动mysqld来设置默认SQL模式。如果你想要重设,该值还可以为空(--sql-mode ="")。  
  8.   
  9. 你还可以在启动后用SET [SESSION|GLOBAL] sql_mode='modes'语句设置sql_mode变量来更改SQL模式。设置 GLOBAL变量时需要拥有SUPER权限,并且会影响从那时起连接的所有客户端的操作。设置SESSION变量只影响当前的客户端。任何客户端可以随时更改自己的会话 sql_mode值。  
  10.   
  11. Modesis是用逗号(‘,’)间隔开的一系列不同的模式。你可以用SELECT @@sql_mode语句查询当前的模式。默认值是空(没有设置任何模式)。  
  12.   
  13. 主要重要sql_mode值为:  
  14.   
  15. ·         ANSI  
  16.   
  17. 更改语法和行为,使其更符合标准SQL。  
  18.   
  19. ·         STRICT_TRANS_TABLES  
  20.   
  21. 如果不能将给定的值插入到事务表中,则放弃该语句。对于非事务表,如果值出现在单行语句或多行语句的第1行,则放弃该语句。本节后面给出了更详细的描述。  
  22.   
  23. ·         TRADITIONAL  
  24.   
  25. Make MySQL的行为象“传统”SQL数据库系统。该模式的简单描述是当在列中插入不正确的值时“给出错误而不是警告”。注释:一旦发现错误立即放弃INSERT/UPDATE。如果你使用非事务存储引擎,这种方式不是你想要的,因为出现错误前进行的数据更改不会“滚动”,结果是更新“只进行了一部分”。  
  26.   
  27. 本手册指“严格模式”,表示至少STRICT _TRANS_TABLES或STRICT _ALL_TABLES被启用的模式。  
  28.   
  29. 下面描述了支持的所有模式:  
  30.   
  31. ·         ALLOW_INVALID_DATES  
  32.   
  33. 在严格模式下不要检查全部日期。只检查1到12之间的月份和1到31之间的日。这在Web应用程序中,当你从三个不同的字段获取年、月、日,并且想要确切保存用户插入的内容(不进行日期验证)时很重要。该模式适用于DATE和DATETIME列。不适合TIMESTAMP列,TIMESTAMP列需要验证日期。  
  34.   
  35. 启用严格模式后,服务器需要合法的月和日,不仅仅是分别在1到12和1到31范围内。例如,禁用严格模式时'2004-04-31'是合法的,但启用严格模式后是非法的。要想在严格模式允许遮掩固定日期,还应启用ALLOW_INVALID_DATES。  
  36.   
  37. ·         ANSI_QUOTES  
  38.   
  39. 将‘"’视为识别符引号(‘`’引号字符),不要视为字符串的引号字符。在ANSI模式,你可以仍然使用‘`’来引用识别符。启用ANSI_QUOTES后,你不能用双引号来引用字符串,因为它被解释为识别符。  
  40.   
  41. ·         ERROR_FOR_DIVISION_BY_ZERO  
  42.   
  43. 在严格模式,在INSERT或UPDATE过程中,如果被零除(或MOD(X,0)),则产生错误(否则为警告)。如果未给出该模式,被零除时MySQL返回NULL。如果用到INSERT IGNORE或UPDATE IGNORE中,MySQL生成被零除警告,但操作结果为NULL。  
  44.   
  45. ·         HIGH_NOT_PRECEDENCE  
  46.   
  47. NOT操作符的优先顺序是表达式例如NOT a BETWEEN b AND c被解释为NOT (a BETWEEN b AND c)。在一些旧版本MySQL中, 表达式被解释为(NOT a) BETWEEN b AND c。启用HIGH_NOT_PRECEDENCESQL模式,可以获得以前的更高优先级的结果。  
  48.   
  49. mysql> SET sql_mode = '';  
  50.   
  51. mysql> SELECT NOT 1 BETWEEN -5 AND 5;  
  52.   
  53.         -> 0  
  54.   
  55. mysql> SET sql_mode = 'broken_not';  
  56.   
  57. mysql> SELECT NOT 1 BETWEEN -5 AND 5;  
  58.   
  59.         -> 1  
  60.   
  61. ·         IGNORE_SPACE  
  62.   
  63. 允许函数名和‘(’之间有空格。强制将所有函数名视为保存的字。结果是,如果你想要访问保存为字的数据库、表或列名,你必须引用它。例如,因为有USER()函数,mysql数据库中的user表名和该表内的User列被保存下来,因此你必须引用它们:  
  64.   
  65. SELECT "User" FROM mysql."user";  
  66.   
  67. ·         NO_AUTO_CREATE_USER  
  68.   
  69. 防止GRANT自动创建新用户,除非还指定了密码。  
  70.   
  71. ·         NO_AUTO_VALUE_ON_ZERO  
  72.   
  73. NO_AUTO_VALUE_ON_ZERO影响AUTO_INCREMENT列的处理。一般情况,你可以向该列插入NULL或0生成下一个序列号。NO_AUTO_VALUE_ON_ZERO禁用0,因此只有NULL可以生成下一个序列号。  
  74.   
  75. 如果将0保存到表的AUTO_INCREMENT列,该模式会很有用。(不推荐采用该惯例)。例如,如果你用mysqldump转储表并重载,MySQL遇到0值一般会生成新的序列号,生成的表的内容与转储的表不同。重载转储文件前启用NO_AUTO_VALUE_ON_ZERO可以解决该问题。mysqldump在输出中自动包括启用NO_AUTO_VALUE_ON_ZERO的语句。  
  76.   
  77. ·         NO_BACKSLASH_ESCAPES  
  78.   
  79. 禁用反斜线字符(‘\’)做为字符串内的退出字符。启用该模式,反斜线则成为普通字符。  
  80.   
  81. ·         NO_DIR_IN_CREATE  
  82.   
  83. 创建表时,忽视所有INDEX DIRECTORY和DATA DIRECTORY指令。该选项对从复制服务器有用。  
  84.   
  85. ·         NO_ENGINE_SUBSTITUTION  
  86.   
  87. 如果需要的存储引擎被禁用或未编译,可以防止自动替换存储引擎。  
  88.   
  89. ·         NO_FIELD_OPTIONS  
  90.   
  91. 不要在SHOW CREATE TABLE的输出中打印MySQL专用列选项。该模式在可移植模式(portability mode)下用于mysqldump。  
  92.   
  93. ·         NO_KEY_OPTIONS  
  94.   
  95. 不要在SHOW CREATE TABLE的输出中打印MySQL专用索引选项。该模式在可移植模式(portability mode)下用于mysqldump。  
  96.   
  97. ·         NO_TABLE_OPTIONS  
  98.   
  99. 不要在SHOW CREATE TABLE的输出中打印MySQL专用表选项(例如ENGINE)。该模式在可移植模式(portability mode)下用于mysqldump。  
  100.   
  101. ·         NO_UNSIGNED_SUBTRACTION  
  102.   
  103. 在减运算中,如果某个操作数没有符号,不要将结果标记为UNSIGNED。请注意这样使UNSIGNED BIGINT不能100%用于上下文中。参见12.8节,“Cast函数和操作符”。  
  104.   
  105.    
  106.   
  107. ·         NO_ZERO_DATE  
  108.   
  109. 在严格模式,不要将 '0000-00-00'做为合法日期。你仍然可以用IGNORE选项插入零日期。在非严格模式,可以接受该日期,但会生成警告。  
  110.   
  111. ·         NO_ZERO_IN_DATE  
  112.   
  113. 在严格模式,不接受月或日部分为0的日期。如果使用IGNORE选项,我们为类似的日期插入'0000-00-00'。在非严格模式,可以接受该日期,但会生成警告。  
  114.   
  115. ·         ONLY_FULL_GROUP_BY  
  116.   
  117. 不要让GROUP BY部分中的查询指向未选择的列。  
  118.   
  119. ·         PIPES_AS_CONCAT  
  120.   
  121. 将||视为字符串连接操作符(+)(同CONCAT()),而不视为OR。  
  122.   
  123. ·         REAL_AS_FLOAT  
  124.   
  125. 将REAL视为FLOAT的同义词,而不是DOUBLE的同义词。  
  126.   
  127. ·         STRICT_TRANS_TABLES  
  128.   
  129. 为所有存储引擎启用严格模式。非法数据值被拒绝。后面有详细说明。  
  130.   
  131. ·         STRICT_TRANS_TABLES  
  132.   
  133. 为事务存储引擎启用严格模式,也可能为非事务存储引擎启用严格模式。后面有详细说明。  
  134.   
  135. 严格模式控制MySQL如何处理非法或丢失的输入值。有几种原因可以使一个值为非法。例如,数据类型错误,不适合列,或超出范围。当新插入的行不包含某列的没有显示定义DEFAULT子句的值,则该值被丢失。  
  136.   
  137. 对于事务表,当启用STRICT_ALL_TABLES或STRICT_TRANS_TABLES模式时,如果语句中有非法或丢失值,则会出现错误。语句被放弃并滚动。  
  138.   
  139. 对于非事务表,如果插入或更新的第1行出现坏值,两种模式的行为相同。语句被放弃,表保持不变。如果语句插入或修改多行,并且坏值出现在第2或后面的行,结果取决于启用了哪个严格选项:  
  140.   
  141. ·         对于STRICT_ALL_TABLES,MySQL返回错误并忽视剩余的行。但是,在这种情况下,前面的行已经被插入或更新。这说明你可以部分更新,这可能不是你想要的。要避免这点,最好使用单行语句,因为这样可以不更改表即可以放弃。  
  142.   
  143. ·         对于STRICT_TRANS_TABLES,MySQL将非法值转换为最接近该列的合法值并插入调整后的值。如果值丢失,MySQL在列中插入隐式 默认值。在任何情况下,MySQL都会生成警告而不是给出错误并继续执行语句。13.1.5节,“CREATE TABLE语法”描述了隐式默认值。  
  144.   
  145. 严格模式不允许非法日期,例如'2004-04-31'。它不允许禁止日期使用“零”部分,例如'2004-04-00'或“零”日期。要想禁止,应在严格模式基础上,启用NO_ZERO_IN_DATE和NO_ZERO_DATE SQL模式。  
  146.   
  147. 如果你不使用严格模式(即不启用STRICT_TRANS_TABLES或STRICT_ALL_TABLES模式),对于非法或丢失的值,MySQL将插入调整后的值并给出警告。在严格模式,你可以通过INSERT IGNORE或UPDATE IGNORE来实现。参见13.5.4.22节,“SHOW WARNINGS语法”。  
  148.   
  149. 下面的特殊模式快速组合了前面所列的模式。  
  150.   
  151. 其中包括大多数最新版本MySQL中的所有模式值。旧版本中,组合模式不包括新版本中没有的不适用的具体模式值。  
  152.   
  153. ·         ANSI  
  154.   
  155. 等同REAL_AS_FLOAT、PIPES_AS_CONCAT、ANSI_QUOTES、IGNORE_SPACE。参见1.8.3节,“在ANSI模式下运行MySQL”。  
  156.   
  157. ·         DB2  
  158.   
  159. 等同PIPES_AS_CONCAT、ANSI_QUOTES、IGNORE_SPACE、NO_KEY_OPTIONS、NO_TABLE_OPTIONS、NO_FIELD_OPTIONS。  
  160.   
  161. ·         MAXDB  
  162.   
  163. 等同PIPES_AS_CONCAT、ANSI_QUOTES、IGNORE_SPACE、NO_KEY_OPTIONS、NO_TABLE_OPTIONS、NO_FIELD_OPTIONS、 NO_AUTO_CREATE_USER。  
  164.   
  165. ·         MSSQL  
  166.   
  167. 等同PIPES_AS_CONCAT、ANSI_QUOTES、IGNORE_SPACE、NO_KEY_OPTIONS、NO_TABLE_OPTIONS、 NO_FIELD_OPTIONS。  
  168.   
  169. ·         MYSQL323  
  170.   
  171. 等同NO_FIELD_OPTIONS、HIGH_NOT_PRECEDENCE。  
  172.   
  173. ·         MYSQL40  
  174.   
  175. 等同NO_FIELD_OPTIONS、HIGH_NOT_PRECEDENCE。  
  176.   
  177. ·         ORACLE  
  178.   
  179. 等同PIPES_AS_CONCAT、ANSI_QUOTES、IGNORE_SPACE、NO_KEY_OPTIONS、NO_TABLE_OPTIONS、NO_FIELD_OPTIONS、NO_AUTO_CREATE_USER。  
  180.   
  181. ·         POSTGRESQL  
  182.   
  183. 等同PIPES_AS_CONCAT、ANSI_QUOTES、IGNORE_SPACE、NO_KEY_OPTIONS、NO_TABLE_OPTIONS、NO_FIELD_OPTIONS。  
  184.   
  185. ·         TRADITIONAL  
  186.   
  187. 等同STRICT_TRANS_TABLES、STRICT_ALL_TABLES、NO_ZERO_IN_DATE、NO_ZERO_DATE、ERROR_FOR_DIVISION_BY_ZERO、NO_AUTO_CREATE_USER。  

Tags: mysql, insert, int, datetime

/*!select*/ 突破防注入

看到本文的时候,其实我还是很蛋定的,大约早在3年多前就看到有人这么做过了,当时还给我发了一大堆这样的代码。
其实还有例子,那就是当初在liba网的时候,有一段时间突然发现MYSQL超慢。bobby查询了所有的数据库查询,发现了类似本文的例子,那时候其实很惊讶,/*!xxxx*/这样的代码不是被注释了吗?又能用来干嘛 ?
所以,今天看到这一篇博客的时候,还是忍不住贴出来,因为这已经真的不算是秘密的秘密了。

来源:http://hi.baidu.com/isbx/blog/item/795dcc112b85f40eb8127b4d.html

作者:meao

昨天在检测一个外国PHP网站时
在id=255后加’出现forbidden
于是我and 1=1正常 and 1=2出错
说明肯定有注入
接着我order by猜出字段
然后union select 1,2,3,4 //悲剧的又出现了forbidden
肯定是做了过滤了
后来构造了语句id=-255+union+/*!select*/+1,2,3,4

原理:

MySQL Server supports some variants of C-style comments. These enable you to write code that includes MySQL extensions, but is still portable, by using comments of the following form:

/*! MySQL-specific code */

In this case, MySQL Server parses and executes the code within the comment as it would any other SQL statement, but other SQL servers will ignore the extensions. For example, MySQL Server recognizes the STRAIGHT_JOIN keyword in the following statement, but other servers will not:

SELECT /*! STRAIGHT_JOIN */ col1 FROM table1,table2 WHERE …

If you add a version number after the “!” character, the syntax within the comment is executed only if the MySQL version is greater than or equal to the specified version number. The TEMPORARY keyword in the following comment is executed only by servers from MySQL 3.23.02 or higher:

CREATE /*!32302 TEMPORARY */ TABLE t (a INT);

The comment syntax just described applies to how the mysqld server parses SQL statements. The mysql client program also performs some parsing of statements before sending them to the server. (It does this to determine statement boundaries within a multiple-statement input line.)

Tags: select, mysql

Records:11312345678910»