手机浏览 RSS 2.0 订阅 膘叔的简单人生 , 腾讯云RDS购买 | 超便宜的Vultr , 注册 | 登陆
浏览模式: 标准 | 列表分类:DataBase

mysql between and

说实话,以前用mysql的Between and 都是这样的用法:where id between 123 and 456。
偶尔居然看到了原来可以where 123 between start_date and end_date
这个用法有点妖异。记录一下。以后实际应用的时候看看效果如何

sqlite字段类型

改了点东西,因为想着要把项目优化,但是每条数据如果都存到单一数据库中,会造成以后的数据越来越大,怎么办?于是我想到了,可以考虑将单类数据存储到sqlite中,既可以备份,又可以用作缓存和其他作用。

所以就想到了sqlite的一些特性,当然,花了大量的时间测试代码,即,一份代码自动生成不同的数据库,可以自由控制读取哪个库哪个表。基于YII而已。写的有点挫,但现在这样的好处是可以不改动原有任何一行代码。

OK,接着转sqlite的字段类型。

一、存储种类和数据类型:

    SQLite将数据值的存储划分为以下几种存储类型:
     NULL: 表示该值为NULL值。
     INTEGER: 无符号整型值。
     REAL: 浮点值。
     TEXT: 文本字符串,存储使用的编码方式为UTF-8、UTF-16BE、UTF-16LE。
     BLOB: 存储Blob数据,该类型数据和输入数据完全相同。
    由于SQLite采用的是动态数据类型,而其他传统的关系型数据库使用的是静态数据类型,即字段可以存储的数据类型是在表声明时即以确定的,因此它们之间 在数据存储方面还是存在着很大的差异。在SQLite中,存储分类和数据类型也有一定的差别,如INTEGER存储类别可以包含6种不同长度的 Integer数据类型,然而这些INTEGER数据一旦被读入到内存后,SQLite会将其全部视为占用8个字节无符号整型。因此对于SQLite而 言,即使在表声明中明确了字段类型,我们仍然可以在该字段中存储其它类型的数据。然而需要特别说明的是,尽管SQLite为我们提供了这种方便,但是一旦 考虑到数据库平台的可移植性问题,我们在实际的开发中还是应该尽可能的保证数据类型的存储和声明的一致性。除非你有极为充分的理由,同时又不再考虑数据库 平台的移植问题,在此种情况下确实可以使用SQLite提供的此种特征。
   1. 布尔数据类型:
    SQLite并没有提供专门的布尔存储类型,取而代之的是存储整型1表示true,0表示false。

   2. 日期和时间数据类型:
    和布尔类型一样,SQLite也同样没有提供专门的日期时间存储类型,而是以TEXT、REAL和INTEGER类型分别不同的格式表示该类型,如:
    TEXT: "YYYY-MM-DD HH:MM:SS.SSS"
    REAL: 以Julian日期格式存储
    INTEGER: 以Unix时间形式保存数据值,即从1970-01-01 00:00:00到当前时间所流经的秒数。

二、类型亲缘性:

    为了最大化SQLite和其它数据库引擎之间的数据类型兼容性,SQLite提出了"类型亲缘性(Type Affinity)"的概念。我们可以这样理解"类型亲缘性 ",在表字段被声明之后,SQLite都会根据该字段声明时的类型为其选择一种亲缘类型,当数据插入时,该字段的数据将会优先采用亲缘类型作为该值的存储 方式,除非亲缘类型不匹配或无法转换当前数据到该亲缘类型,这样SQLite才会考虑其它更适合该值的类型存储该值。SQLite目前的版本支持以下五种 亲缘类型:

亲缘类型 描述  
TEXT 数值型数据在被插入之前,需要先被转换为文本格式,之后再插入到目标字段中。
NUMERIC 当文本数据被插入到亲缘性为NUMERIC的 字段中时,如果转换操作不会导致数据信息丢失以及完全可逆,那么SQLite就会将该文本数据转换为INTEGER或REAL类型的数据,如果转换失 败,SQLite仍会以TEXT方式存储该数据。对于NULL或BLOB类型的新数据,SQLite将不做任何转换,直接以NULL或BLOB的方式存储 该数据。需要额外说明的是,对于浮点格式的常量文本,如"30000.0",如果该值可以转换为INTEGER同时又不会丢失数值信息,那么SQLite 就会将其转换为INTEGER的存储方式。
INTEGER 对于亲缘类型为INTEGER的字段,其规则等同于NUMERIC,唯一差别是在执行CAST表达式时。
REAL 其规则基本等同于NUMERIC,唯一的差别是不会将"30000.0"这样的文本数据转换为INTEGER存储方式。
NONE 不做任何的转换,直接以该数据所属的数据类型进行存储。  

   1. 决定字段亲缘性的规则:
    字段的亲缘性是根据该字段在声明时被定义的类型来决定的,具体的规则可以参照以下列表。需要注意的是以下列表的顺序,即如果某一字段类型同时符合两种亲缘性,那么排在前面的规则将先产生作用。
    1). 如果类型字符串中包含"INT",那么该字段的亲缘类型是INTEGER。
    2). 如果类型字符串中包含"CHAR"、"CLOB"或"TEXT",那么该字段的亲缘类型是TEXT,如VARCHAR。
    3). 如果类型字符串中包含"BLOB",那么该字段的亲缘类型是NONE。
    4). 如果类型字符串中包含"REAL"、"FLOA"或"DOUB",那么该字段的亲缘类型是REAL。
    5). 其余情况下,字段的亲缘类型为NUMERIC。

    2. 具体示例:

声明类型 亲缘类型 应用规则
INT
INTEGER
TINYINT
SMALLINT
MEDIUMINT
BIGINT
UNSIGNED BIG INT
INT2
INT8
INTEGER 1
CHARACTER(20)
VARCHAR(255)
VARYING CHARACTER(255)
NCHAR(55)
NATIVE CHARACTER(70)
NVARCHAR(100)
TEXT
CLOB
TEXT 2
BLOB NONE 3
REAL
DOUBLE
DOUBLE PRECISION
FLOAT
REAL 4
NUMERIC
DECIMAL(10,5)
BOOLEAN
DATE
DATETIME
NUMERIC 5

    注:在SQLite中,类型VARCHAR(255)的长度信息255没有任何实际意义,仅仅是为了保证与其它数据库的声明一致性。

三、比较表达式:

    在SQLite3中支持的比较表达式有:"=", "==", "<", "<=", ">", ">=", "!=", "<>", "IN", "NOT IN", "BETWEEN", "IS" and "IS NOT"。
    数据的比较结果主要依赖于操作数的存储方式,其规则为:
    1). 存储方式为NULL的数值小于其它存储类型的值。
    2). 存储方式为INTEGER和REAL的数值小于TEXT或BLOB类型的值,如果同为INTEGER或REAL,则基于数值规则进行比较。
    3). 存储方式为TEXT的数值小于BLOB类型的值,如果同为TEXT,则基于文本规则(ASCII值)进行比较。
    4). 如果是两个BLOB类型的数值进行比较,其结果为C运行时函数memcmp()的结果。

四、操作符:

    所有的数学操作符(+, -, *, /, %, <<, >>, &, and |)在执行之前都会先将操作数转换为NUMERIC存储类型,即使在转换过程中可能会造成数据信息的丢失。此外,如果其中一个操作数为NULL,那么它们 的结果亦为NULL。在数学操作符中,如果其中一个操作数看上去并不像数值类型,那么它们结果为0或0.0。

-------

上面的这一小段来自:http://www.cnblogs.com/stephen-liu74/archive/2012/02/22/2325258.html,其实这里也有一份,不过这一份嘛 ,就整理的不太好了。所以我扔到code框里。。其实以前有一份pdf的,但一下子找不到了。而且。。。mac下看chm和pdf都不太爽。。

http://www.21andy.com/blog/20091211/1489.html
  1. NULL  
  2. INTEGER  
  3. REAL  
  4. TEXT  
  5. BLOB  
  6. 但实际上,sqlite3也接受如下的数据类型:  
  7. smallint 16 位元的整数。  
  8. interger 32 位元的整数。  
  9. decimal(p,s) p 精确值和 s 大小的十进位整数,精确值p是指全部有几个数(digits)大小值,s是指小数点後有几位数。如果没有特别指定,则系统会设为 p=5s=0 。  
  10. float   32位元的实数。  
  11. double   64位元的实数。  
  12. char(n)   n 长度的字串,n不能超过 254。  
  13. varchar(n) 长度不固定且其最大长度为 n 的字串,n不能超过 4000。  
  14. graphic(n) 和 char(n) 一样,不过其单位是两个字元 double-bytes, n不能超过127。这个形态是为了支援两个字元长度的字体,例如中文字。  
  15. vargraphic(n) 可变长度且其最大长度为 n 的双字元字串,n不能超过 2000  
  16. date   包含了 年份、月份、日期。  
  17. time   包含了 小时、分钟、秒。  
  18. timestamp 包含了 年、月、日、时、分、秒、千分之一秒。  
  19.   
  20.    
  21.   
  22. 1.存储类别  
  23. 第二版把所有列的值都存储成ASCII文本格式。第三版则可以把数据存储成整数和实数,还可以存储BLOB数据.  
  24.   
  25. Each value stored in an SQLite数据库中存储的每个值都有一个属性,都属于下面所列类中的一种,(被数据库引擎所控制)  
  26.   
  27. 空.这个值为空值  
  28.   
  29. 整数.值被标识为整数,依据值的大小可以依次被存储为1,2,3,4,5,6,7,8.  
  30.   
  31. 实数. 所有值都是浮动的数值,被存储为8字节的IEEE浮动标记序号.  
  32.   
  33. 文本. 值为文本字符串,使用数据库编码存储(TUTF-8, UTF-16BE or UTF-16-LE).  
  34.   
  35. BLOB. 值是BLOB数据,如何输入就如何存储,不改变格式.  
  36.   
  37. 像SQLite2.0版一样,在3.0版中,除了INTEGER PRIMARY KEY,数据库中的任何列都可以存储任何类型的数据.这一规则也有例外,在下面的"严格相似模式"中将描述.  
  38.   
  39. 输入SQLite的所有值,不管它是嵌入 SQL语句中的文字还是提前编译好的绑定在SQL语句中的值,在SQL语句执行前都被存储为一个类.在下面所描述的情况下,数据库引擎将在执行时检查并把值在数字存储类(整数和实数)和文本类间转换.  
  40.   
  41. 存储的类别最初被分类为如下:  
  42.   
  43. 具体的值比如SQL语句部分的带双引号或单引号的文字被定义为文本,如果文字没带引号并没有小数点或指数则被定义为整数,如果文字没带引号但有小数点或指数则被定义为实数,如果值是空则被定义为空值.BLOB数据使用符号X'ABCD'来标识.  
  44.   
  45. Values supplied using the 被输入的值使用sqlite3_bind_* APIs的被分类一个存储等级,这等级是和原来的类基本相一致的. (比如sqlite3_bind_blob()绑定一个BLOB的值).  
  46.   
  47. 值的分类是SQL分等级操作的结果,决定于最远的操作表达式.用户定义的功能也许会把值返回任意的类.在编译的时候来确定表达式的存储类基本是不可能的.  
  48.   
  49. 2. 列之间的亲和性  
  50. 在SQLite3.0版中,值被定义为什么类型只和值自身有关,和列没有关系,和变量也没有关系. (这有时被称作 弱类型.)所有其它的我们所使用的数据库引擎都受静态类型系统的限制,其中的所有值的类是由其所属列的属性决定的,而和值无关.  
  51.   
  52. 为了最大限度的增加SQLite数据库和其他数据库的兼容性,SQLite支持列的"类型亲和性". 列的亲和性是为该列所存储的数据建议一个类型.我们要注意是建议而不是强迫.在理论上来讲,任何列依然是可以存储任何类型的数据的. 只是针对某些列,如果给建议类型的话,数据库将按所建议的类型存储.这个被优先使用的数据类型则被称为"亲和类型".  
  53.   
  54. 在SQLite3.0版中,数据库中的每一列都被定义为以下亲和类型中的一种:  
  55.   
  56. 文本  
  57. 数字的  
  58. 整数  
  59. 无  
  60. 一个具有类型亲和性的列按照无类型,文本,或BLOB存储所有的数据.如果数字数据被插入一个具有文本类型亲和性的列,在存储之前数字将被转换成文本.  
  61.   
  62. 一个具有数字类型亲和性的列也许使用所有的五个存储类型存储值.当文本数据被插入一个数字列时,在存储之前,数据库将尝试着把文本转换成整数或实数.如果能成功转换的话,值将按证书活实数的类型被存储. 如果不能 成功转换的话,值则只能按文本类型存储了,而不会被转换成无类型或BLOB类型来存储.  
  63.   
  64. 一个具有整数亲和力的列在转换方面和具有数字亲和力的列是一样的,但也有些区别 ,比如没有浮动量的实值(文本值转换的值)被插入具有整数亲和力的列时,它将被转换成整数并按整数类型存储.  
  65.   
  66. 一个具有无类型亲和力的列不会优先选择使用哪个类型.在数据被输入前它不会强迫数据转换类型.  
  67.   
  68. 2.1 列的亲和性的决定  
  69. 一个列的亲和类型是由该列所宣称的类型决定的.遵守以下规则:  
  70.   
  71. 如果数据类型包括字符串"INT"那么它被定义成具有整数亲和性.  
  72.   
  73. 如果列中的数据类型包括以下任何的字符串 "CHAR", "CLOB", or "TEXT" 那么这个列则具有文本亲和性.要注意VARCHAR类型包括字符串"CHAR"因此也具有文本类型亲和性.  
  74.   
  75. 如果一个列的数据类型包括字符串"BLOB"或者如果数据类型被具体化了,那么这个列具有无类型亲和性.  
  76.   
  77. 否则就具有数字类型亲和性.  
  78.   
  79. 如果表格使用If "CREATE TABLE AS SELECT..."语句生成的,那么所有的列则都没有具体的数据类型,则没有类型亲和性.  
  80.   
  81. 2.2 列的亲和性的例子  
  82. CREATE TABLE t1(  
  83.     t TEXT,  
  84.     nu NUMERIC,  
  85.     i INTEGER,  
  86.     no BLOB  
  87. );  
  88.   
  89. -- Storage classes for the following row:  
  90. -- TEXT, REAL, INTEGER, TEXT  
  91. INSERT INTO t1 VALUES('500.0', '500.0', '500.0', '500.0');  
  92.   
  93. -- Storage classes for the following row:  
  94. -- TEXT, REAL, INTEGER, REAL  
  95. INSERT INTO t1 VALUES(500.0, 500.0, 500.0, 500.0);  
  96.   
  97. 3.比较表达式  
  98. 像SQLite2.0版一样,3.0版的一个特性是二进制比较符'=', '<', '<=', '>=' and '!=',一个操作'IN'可以测试固定的成员资格, 三重的比较操作符'BETWEEN'.  
  99.   
  100. 比较的结果决定于被比较的两个值的存储类型。遵循以下规则:  
  101.   
  102. 一个具有空存储类型的值被认为小于任何值(包括另外一个具有空存储类型的值)。  
  103.   
  104. 一个整数值或实数值小于任何文本值和BLOB值。 当一个整数或实数和另一个整数或实数相比较的时候,则按照实际数值来比较。  
  105.   
  106. 一个文本值小于BLOB值。当两个文本值相比较的时候,则用C语言类库中的memcmp()函数来比较。然而,有时候也不是这样的,比如在下面所描述的“用户定义的整理顺序”情况下。  
  107.   
  108. 当两个BLOB文本被比较的时候,结果决定于memcmp()函数。  
  109.   
  110. 在开始比较前,SQLite尝试着把值在数字存储级(整数和实数)和文本之间相互转换。下面列举了关于如何比较二进制值的例子。在着重号below中使用的表达式可以表示SQL标量表达式或是文本但不是一个列值。  
  111.   
  112. 当一个列值被比拟为表达式结果的时候,在比较开始前,列的亲和性将被应用在表达结果中。  
  113.   
  114. 当两个列值比较的时候,如果一个列有整数或数字亲和性的时候,而另外一列却没有,那么数字亲和性适用于从非数字列提取的任何具有文本存储类型的值. P>  
  115.   
  116. 当比较两个表达式的结果时,不发生任何转换,直接比较结果.如果一个字符串和一个数字比较, 数字总是小于字符串.  
  117.   
  118. 在SQLite中, 表达式"a BETWEEN b AND c"等于表达式 "a >= b AND a <= c",在比较表达式时,a可以是具有任何亲和性.  
  119.   
  120. 表达式 "a IN (SELECT b ....)" 在比较时遵循上面所提到的三条规则,是二进制比较.(例如, 在一个相似的样式 "a = b"). 例如,如果'b'是一个列值, 'a' 是一个表达式,那么,在开始比较前,'b'的亲和性就被转换为'a'的亲和性了.  
  121.   
  122. SQLite把表达式 "a IN (x, y, z)" 和 "a = z OR a = y OR a = z"视为相等.  
  123.   
  124. 3.1 比较例子  
  125. CREATE TABLE t1(  
  126.     a TEXT,  
  127.     b NUMERIC,  
  128.     c BLOB  
  129. );  
  130.   
  131. -- Storage classes for the following row:  
  132. -- TEXT, REAL, TEXT  
  133. INSERT INTO t1 VALUES('500', '500', '500');  
  134.   
  135. -- 60 and 40 are converted to '60' and '40' and values are compared as TEXT.  
  136. SELECT a < 60, a < 40 FROM t1;  
  137. 1|0  
  138.   
  139. -- Comparisons are numeric. No conversions are required.  
  140. SELECT b < 60, b < 600 FROM t1;  
  141. 0|1  
  142.   
  143. -- Both 60 and 600 (storage class NUMERIC) are less than '500'  
  144. -- (storage class TEXT).  
  145. SELECT c < 60, c < 600 FROM t1;  
  146. 0|0  
  147.   
  148. 4. 运算符  
  149. 所有的数学运算符(所有的运算符而不是连锁作用标记符"||")运算对象首先具有数字亲和性, 如果一个或是两个都不能被转换为数字那么操作的结果将是空值。  
  150.   
  151. 对于连接作用操作符,所有操作符将首先具有文本亲和性。如果其中任何一个操作符不能被转换为文本(因为它是空值或是BLOB)连接作用操作符将是空值。  
  152.   
  153. 5. 分类,排序,混合挑选  
  154. 当用子句ORDER挑选值时,空值首先被挑选出来, 然后是整数和实数按顺序被挑选出来, 然后是文本值按memcmp()顺序被挑选出来, 最后是BLOB值按memcmp()顺序被挑选出来.在挑选之前, 没有存储类型的值都被转换了.  
  155.   
  156. When grouping values with the 当用GROUP BY子句给值分组时,具有不同存储类型的值被认为是不同的, 但也有例外, 比如,一个整数值和一个实数值从数字角度来说是相等的,那么它们则是相等的.用GROUP by 子句比较完后,值不具有任何亲和性.  
  157.   
  158. 混合挑选操作符UNION, INTERSECT and EXCEPT 在值之间实行绝对的比较,同样的亲和性将被应用于所有的值,这些值将被存储在一个单独的具有混合SELECT的结果组的列中. 被赋予的亲和性是该列的亲和性,这个亲和性是由剩下的大部分的混合SELECTS返回的,这些混合SELECTS在那个位置上有列值(而不是其它类型的表达式). 如果一个给定的混合SELECT列没有SELECTS的量, 那么在比较前,该列的值将不具有任何亲和性.  
  159.   
  160. 6. 其它亲和性模式  
  161. 以上的部分所描述的都是数据库引擎在正常亲和性模式下所进行的操作, SQLite将描述其它两种亲和性模式,如下:  
  162.   
  163. 严格亲和性模式.在这种模式下,如果需要值之间相互转换数据存储类型的话,数据库引擎将发送错误报告,当前语句也将会重新运行.  
  164.   
  165. 无亲和性模式.在这种模式下,值的数据存储类型不发生转换.具有不同存储类型的值之间不能比较,但整数和实数之间可以比较.  
  166.   
  167. 7.用户定义的校对顺序  
  168. By default, when 当SQLite比较两个文本值的时候,通过系统设定,不管字符串的编码是什么,用memcmp()来比较. SQLite第三版允许用户提供任意的函数来代替memcmp(),也就是用户定义的比较顺序.  
  169.   
  170. 除了系统预设的BINARY比较顺序,它是用memcmp()函数比较,SQLite还包含了两个额外的内置比较顺序函数, NOCASE和REVERSE:  
  171.   
  172. BINARY -使用memcmp()比较字符串数据, 不考虑文本编码.  
  173. REVERSE -用倒序比较二进制文本.  
  174. NOCASE - 和二进制一样,但在比较之前,26位的大写字母盘要被折合成相应的小写字母盘.  
  175. 7.1 分配比较顺序  
  176. 每个表格中的每个列都有一个预设的比较类型.如果一个比较类型不是二进制所要求的,比较的子句将被具体化为 列的定义 来定义该列.  
  177.   
  178. 当用SQLite比较两个文本值时,比较顺序将按照以下的规则来决定比较的结果.文档的第三部分和第五部分描述在何种场合下发生这种比较.  
  179.   
  180. 对于二进制比较符(=, <><= and >=),如果每个操作数是一列的话,那么该列的默认比较类型决定于所使用的比较顺序. 如果两个操作数都是列的话,那么左边的操作数的比较类型决定了所要使用的比较顺序.如果两个操作数都不是一列,将使用二进制来比较.  
  181.   
  182. 表达式"x BETWEEN y and z"和 "x >= y AND x <= z"是相同的. 表达式"x IN (SELECT y ...)" 和表达式 "xx = y" 使用同样的方法来操作,这是为了决定所要使用的比较顺序.如果X是一列或者二进制的,则"x IN (y, z ...)" 形式的表达式所使用的比较顺序是X的默认的比较类型.  
  183.   
  184. ORDER BY clause that is part of a SELECT statement may be assigned a collation sequence to be used for the sort operation explicitly. In this case the explicit collation sequence is always used. Otherwise, if the expression sorted by an ORDER BY clause is a column, then the default collation type of the column is used to determine sort order. If the expression is not a column, then the BINARY collation sequence is used.  
  185.   
  186. 7.2 比较顺序的例子  
  187. 下面的例子介绍了The examples below identify the collation sequences that would be used to determine the results of text comparisons that may be performed by various SQL statements. Note that a text comparison may not be required, and no collation sequence used, in the case of numeric, blob or NULL values.  
  188.   
  189. CREATE TABLE t1(  
  190.     a,                 -- default collation type BINARY  
  191.     b COLLATE BINARY, -- default collation type BINARY  
  192.     c COLLATE REVERSE, -- default collation type REVERSE  
  193.     d COLLATE NOCASE   -- default collation type NOCASE  
  194. );  
  195.   
  196. -- Text comparison is performed using the BINARY collation sequence.  
  197. SELECT (a = b) FROM t1;  
  198.   
  199. -- Text comparison is performed using the NOCASE collation sequence.  
  200. SELECT (d = a) FROM t1;  
  201.   
  202. -- Text comparison is performed using the BINARY collation sequence.  
  203. SELECT (a = d) FROM t1;  
  204.   
  205. -- Text comparison is performed using the REVERSE collation sequence.  
  206. SELECT ('abc' = c) FROM t1;  
  207.   
  208. -- Text comparison is performed using the REVERSE collation sequence.  
  209. SELECT (c = 'abc') FROM t1;  
  210.   
  211. -- Grouping is performed using the NOCASE collation sequence (i.e. values  
  212. -- 'abc' and 'ABC' are placed in the same group).  
  213. SELECT count(*) GROUP BY d FROM t1;  
  214.   
  215. -- Grouping is performed using the BINARY collation sequence.  
  216. SELECT count(*) GROUP BY (d || '') FROM t1;  
  217.   
  218. -- Sorting is performed using the REVERSE collation sequence.  
  219. SELECT * FROM t1 ORDER BY c;  
  220.   
  221. -- Sorting is performed using the BINARY collation sequence.  
  222. SELECT * FROM t1 ORDER BY (c || '');  
  223.   
  224. -- Sorting is performed using the NOCASE collation sequence.  
  225. SELECT * FROM t1 ORDER BY c COLLATE NOCASE;  
code框里的就随便看看吧。毕竟与mysql还是有点区别的。由于sqlite也是可以被下载的,所以最好是换个名字存储或者名字随机,这样别人就不容易猜了。sqlite做项目的好处是,你可以用dropbox随时备份整个项目,毕竟,sqlite只是一个文件。。。轻轻松松啊

thinkinlamp 数据库大会

归到数据库分类实在让我有点汗颜,毕竟这只是一个聚会性质的交流。并非真的就是与数据库相关,但内容因为还是涉及到了数据库,所以。。。归到这里吧。

这次大会去的比较晚了,因为小朋友的屁股上发了点东西(俗语:风疹块),所以本来是考虑不去的,但因为三件事,我还是去了:1、小朋友的屁股上用了以前的药,好了很多,几乎没了;2、票子送不掉,很多人一听是早上8点到场,都大义懔然的放弃了;3、锅巴引诱我,说是给我准备了特别的礼物

意外:意外在这里看到了前前同事,余老板,原来,她还在篱笆网,她笑称自己是钉子户,其实我是真的挺佩服她,能在国内一家互联网公司做超过5年,并不是一件容易的事情。

废话说了那么多,现在就让我们开始吧。
因为去的晚,所以对数据库与SSD的存储没有听到多少,但说白了,听了对我也没多大用处,小公司吧,用不上这些,大公司吧,可挑选的余地又太大,如果求稳,就研究不了新技术 ,如果求新技术 ,却又不能保证一定稳定,象网易,在云阅读上就用了SSD的硬件,我想他在备份上面的代价会是多少呢?小公司真的烧不起这个钱啊,虽然说混合应用的SSD+SATA的盘1T也才1000左右,但我们没那么多机房来折腾,也不会有dell公司的人来帮忙维护和技术支持,我们不是VIP用户啊,亲

第二个演讲的又是让我很郁闷的,虽然我在事前其实也很想知道这一块的东西,legenddb,类似于mysql proxy或者说mysqlcluster的工具,他们确实走在了我们的前面,但对应用型 的公司来说,没人敢用就是一个很大的问题。你没有完整的技术支持,不能保证后续的服务,出了BUG,你不能在很快响应。国内很多公司选择了mysql,有很大一部分原因在于,mysql社区版是开源的,所以可以有针对性的对它进行修改。如果你legend开源了,你还能走多久?legenddb,老谭也在台上说了,目前在某些join查询上效率还不是很高。而legenddb最大的功能其实就是用来做分布式数据库,并且通过timeline来做数据同步等(为了一致,每台服务器还必须得精准校验时间,否则可能会出问题,即数据出错),有兴趣的朋友可以上他们的网站上看看:http://www.mysqlab.net/,我感兴趣的原因是,它们说他们的软件是基于go开发的,黑黑

第三位演讲的是支付宝的朋友。讲了一个数据库的架构方面的设计,即又要保证ACID,还得让CAP这个标准也能够相对较好的应用。什么时候选择ACP,什么时候选择APC,都是一个讲究,在这上面,他用了一个简单的例子,即:用户付钱给商家。看起来很简单,但因为支付宝是担保交易,所以,简单的看起来就是:
1、用户支付时:用户update余额,中间帐户update状态
2、物流进行时:中间帐户维护状态
3、用户确认时:商家update余额,中间帐户update状态
只是在第一步的时候,特别是在聚划算的时候,传说每秒就是几千单,如果从传统意义上来说,没有一台服务器能够达到这样的效果,于是就采用了类似分片的效果,将中间帐户切分成N份(也就可以用N台机器来处理),然后再通过事务合并(这一段是我猜想。。。)
有时候说起来简单,做起来很复杂啊。比如他说,当搞活动的时候就加几台机器,活动结束后就减几台机器。对于程序来说,加减法并不是数学上的加减法,每加一台服务器,带来的成本和风险就会大几分,怎么把握也是一个难题。当然对于我这样的应用型人来说,暂时遇不到,很幸福啊。
好象我对第三位演讲的内容也介绍的比较水,但由于他的内容集中在CAP把握的度上,所以我也不太好介绍,毕竟我对这方面的掌握也不是特别的深

第四位是神仙,(http://xiezhenye.com/),介绍了mongodb的auto sharding。好吧,小公司又是不太会用的一个项目,在小项目中,mysql的查询效率并不会太低于mongodb。所以我就稍稍看了一下,主要也是因为auto sharding是自动切分的,我就不多介绍了。
不过,技术人员的通病就是,自己会用,但不会说。或者是在QQ里在聊天群里非常能说,但现场三棍子打不出个闷屁来,这都是一个问题。下一步我就是要建议thinkinlamp经常搞搞小型聚会,先内部交流,逼着大家上台讲。讲完了再下来沉淀,然后所有人讲完后,再接着讲一遍。只有这样,以后才能真正的走出来,不然,永远只是幕后,没有人认识你啊。

第五位是新浪微博的朋友。他先是很自我宣传了一下,然后介绍了他们在项目中用redis处理计数的功能。表面上很简单的几个数字,来的却并不方便,这其中最大的问题就是用户基数。用他们的话来说,就算是做cache,也不是那么简单的。注册用户3.x亿,每天发贴有1亿+,峰值达到了300W+/秒(这个数据记不清了,希望没错,据说是在春节那天),1亿的数据,相应的人员的微博数要加1,相关人员的未读数要+1,这些存储所花的代价是多少?好吧,我们先用100,000,000折腾一下,1M是多少字节?1G是多少字节?光这些+1所占的空间是多少?如果再加上要绑定的key呢?即用户ID,但又不是直接就用户ID+1,而是uid+comment,uid+post这类组合的key,这样一算的话,它的key得是多长?占了多少空间???说说都是很恐怖的事情,不要说是在做了,所以新浪在不停的为key减少空间。毕竟value只是一个整型,占的空间并不大,相反,key却真正的成了最大的存储空间占用的罪人。这一块的水比较深,我不多介绍。

其实中间还有一位厂商,DSG,但是我没有好好听,毕竟,oracle对我们来说太大了。。我还是初级用户。我很蛋定,谢谢。。。

中间,为了拿到锅巴准备的礼物,上去做一个“oppa 江南 style”的鸟叔POSE。。。。

redis 批量删除key

Redis 在运行一段时间后,发现有部分的数据确实没有缓存的必要,这时,切换数据库当然是一个办法。还有办法,flush掉所有的数据。

flush太危险了。所以。。还是删除key吧,比较安全一点。比如我删除keys "abc:*"的key
在cli里不能直接操作,但是可以
./redis-cli -n 0 keys "abc:*"|xargs ./redis-cli -n 0 del
这样就可以了。
不过因为我的正则不好,所以。。本来想长度为32的key都清掉的。。。(32位,你懂的)
还好某个库我不用了。。

Tags: redis

Mongodb 中字段类型的郁闷

之前在“ Yii的又一个BUG?”提过我将数据导入到数据库时,进直接用ActiveRecord导入的,所以字段的类型都是String,后来发现问题,指定字段 为int值
这两天为了做一个查询,看了一下程序又遇到了问题:
同样的参数,同样的内容,一个查询能够有值,一个查询一点数据都没有。。。这是怎么回事?
一步步的测试下来,最后怀疑是字段类型,从$_GET回来的参数应该是字符串型而不是int,于是做了一个强制转换,数据果然就有了。我晕啊。。。大哥,你绕了我吧?
看来以后对于这类的数据,只要涉及mongo的,还是要多做一次额外的处理,否则连问题都没法发现。当然这也是因为不细心导致的。
慎记

Tags: mongo

Records:16112345678910»