手机浏览 RSS 2.0 订阅 膘叔的简单人生 , 腾讯云RDS购买 | 超便宜的Vultr , 注册 | 登陆
浏览模式: 标准 | 列表全部文章

网站多服务器负载均衡引起的开发问题及解决方案

本文来自kakapo的博客,kakapo,如果没有记错,应该是pchome的人吧。。。负载均衡我暂时还没有用到,毕竟我就一台服务器也没必要在服务器上装上17、8个虚拟机来跑这些负载均衡吧。

原文地址:http://www.kakapo.cn/blog/read.php?153

内容:

先罗列一下问题:
1、session会话数据共享问题
2、缓存数据文件共享问题
3、用户数据共享问题
4、上传数据存储问题
5、Log日志文件共享同步问题
6、配置文件管理问题
7、web服务器时间获取不一致问题

这些问题都是从项目经验中总结出来的,接下来在一一讨论解决的办法。
1、session会话数据共享问题    

推荐使用memcached分布式缓存系统来解决,可以参考我之前写一篇文章《Memcached的介绍和应用》。

2、缓存数据文件共享问题解决方案

所谓缓存数据,一般指网站前台程序本身产生的数据,比如,数据库查询类产生的数据对象缓存,缓存类产生的本地缓存数据,远程抓取类产生的本地临时缓存文件等等。    
有 些数据看似不需要共享,就像那些在每台机器上都能自动产生的数据。但是如果刚好碰到某个时刻数据更新了,缓存时间又不同步,就会造成负载均衡上的每台机器 缓存数据不相同。这也会给用户的访问带来一定的困扰。当然针对的解决办法就是想办法让缓存同时过期,保证缓存的内容相同,这就不需要考虑共享的问 题。    
远程抓取经常会涉及到模拟登陆,在本地一般会保存模拟登陆用户的cookie数据,这个就一定得想办法解决共享。否则用户在负载 A机器上执行了模拟登陆程序,在本地产生了cookie文件,但是下次请求被分配到负载B机器上执行抓取程序,却发现需要用上的cookie文件在本地不 存在,马上程序就会被远程服务器拒绝访问。这种cookie的临时文件很多而且改动频繁。目前我们采用了NFS的方案,mount指定的一个缓存目录,让 负载的每台机器都能像本地目录一样访问,暂且还行的通。也可以将这个单独的应用放到一台机器,来避免这个问题。

3、用户数据共享问题    
所谓用户数据,范围比较广。这里一般指在用户的独立目录空间保存的用户独用的数据。比例用户自己的相片,头像等等。    
之 前我们采用的方法是搞一台存储服务器,通过一定的规则为用户创建目录空间,然后存储服务器通过NFS共享到所有负载均衡的web服务器。这种做法在几百万 用户的网站还行得通。主要问题在于NFS在高并发访问下会出现一些不稳定,会丢失文件访问句柄。另外还有mount管理带来的麻烦,以及数据安全等风险。 顺便提起用户目录空间的创建规则,分散均匀是一个最大的原则,采用哈希值切分方式比较合适。 采用用户名或者时间因子虽然方便了一些记忆和查询,但是容易碰到局部目录达到系统最大限制的问题。    
所以,推荐使用分布式文件系统解决方案。国人happy_fish100开发了一个高效的开源的分布式文件系统FastDFS,比较完善,使用简单,功能强大。特别适合解决我当前遇到的问题。自称比国外的Mogilefs还强大。让我更心动的是提供了PHP client API,采用socket访问。在应用中调用也非常方便。

4、上传数据存储问题    

这 个问题再单独拿出来谈是有根据的。在前台用户上传的自己相关的数据可以归属前面一个问题的范畴。前台也有一些用户上传的数据跟用户无关,还有网站后台也会 有很多上传的数据。之前的做法可以是通过FTP服务将这些数据上传到存储静态文件的服务器上,也有通过NFS方式共享静态文件服务器的指定目录到web服 务器。现在除了FTP方案之外,我也推荐尝试使用FastDFS来管理静态文件服务器的数据,但是要修改一下设计,可以在FastDFS的storge服 务器上直接架设http服务器,让静态文件能直接通过URL访问。

5、Log日志文件共享同步问题    

所谓的Log日志也是web服务器程序自动产生的,比如错误日志,访问日志等。在一般情况一下也可以考虑让其不共享,无非是分析日志的时候每台机器都要做一遍。

6、配置文件管理问题&web服务器时间获取不一致问题      

配置文件管理问题严格来讲不属于开发遇到的问题,而是运维人员烦恼的事情。当然,通过合理的将配置文件进行归类和存储,还是可以减少运维人员的困难的。web服务器的配置文件的最好也不用共享,文件的同步可以让系统管理员通过系统命令去自动完成。
web服务器时间不一致虽然可以通过系统定时跟全球的时间服务器同步,但是在开发过程中程序还是要尽量避免使用本地时间函数,特别是跟数据库有关系的数据,可以通过采用数据库的时间函数来解决。

 

Tags: kakapo, 负载均衡

js Loader

Javascript的后加载,很多人都写过,这是为了防止最初加载的JS过多影响网速 。看到风雪之隅写了一个,看上去挺漂亮就转载了一下。。。

原文:http://www.laruence.com/2009/05/21/829.html

示例:

JavaScript代码
  1. var loader = Loader;  
  2.   loader.onReady = function(){  
  3.      alert('全部载入完成');  
  4.   }  
  5.       
  6.   loader.on('onLoad'function(name) {  
  7.       alert(name + '载入完成');  
  8.   });  
  9.   loader.load([  
  10.       'http://www.laruence.com/1.js',  
  11.       'http://www.laruence.com/test.js',  
  12.       'http://www.laruence.com/main.js'  
  13.     ]  
  14.   );  


源码:

JavaScript代码
  1. /** 
  2.  * Eve Js Loader 
  3.  * @version 1.0.1 
  4.  * @author laruence<laruence at yahoo.com.cn> 
  5.  * @copyright (c) 2009 www.laruence.com 
  6.  */  
  7.    
  8. /** 
  9.  * a global object instance, you can easily change to a class definition 
  10.  */  
  11. var Loader = {  
  12.     /** 
  13.      * @var onLoad  when load a individual file completed , 
  14.      * this event will be fired * @param string name  loaded script file name 
  15.      */  
  16.     onLoad : function(name){},  
  17.     /** 
  18.      * @var onReady when all scripts loaded, this event will be fired 
  19.      */  
  20.     onReady : function(){},  
  21.     /** 
  22.      * a empty constructor 
  23.      */  
  24.     init : function(container) {  
  25.     },  
  26.     /** 
  27.      * a empty error handler 
  28.      */  
  29.     handlerError : function(e) {  
  30.         alert(e);  
  31.     },  
  32.     /** 
  33.      * event register 
  34.      * @param string evt  event name 
  35.      * @param function handler 
  36.      */  
  37.     on : function(evt, handler) {  
  38.         switch ( evt.toLowerCase() ) {  
  39.             case 'load' :  
  40.                 this.onLoad = handler;  
  41.             break;  
  42.             case 'ready' :  
  43.                 this.onReady = handler;  
  44.             break;  
  45.             default :  
  46.             break;  
  47.         }  
  48.         return true;  
  49.      },  
  50.     /** 
  51.      * private method 
  52.      */  
  53.     _load : function(path, callback) {  
  54.         try {  
  55.             var script = document.createElement('script');  
  56.             script.src = path;  
  57.             script.type = "text/javascript";  
  58.             document.getElementsByTagName("head")[0].appendChild(script);  
  59.             if( script.addEventListener ) {  
  60.                 script.addEventListener("load", callback, false);  
  61.             } else if(script.attachEvent) {  
  62.                 script.attachEvent("onreadystatechange"function(){  
  63.                         if(script.readyState == 4  
  64.                             || script.readyState == 'complete'  
  65.                             || script.readyState == 'loaded') {  
  66.                             callback();  
  67.                         }  
  68.                 });  
  69.             }  
  70.         } catch(e) {  
  71.             this.handlerError(e);  
  72.             callback();  
  73.         }  
  74.     },  
  75.     /** 
  76.      * start loding process 
  77.      * @param array scripts  files want to be loaded 
  78.      */  
  79.     load : function(scripts) {  
  80.         var total = scripts.length;  
  81.         var _self  = this;  
  82.         var indicator = arguments[1] || 0;  
  83.         if ( indicator >= total ) {  
  84.             _self.onReady();  
  85.             return true;  
  86.         }  
  87.    
  88.         var callee = arguments.callee;  
  89.         var script = scripts[indicator];  
  90.         this._load(script, function() {  
  91.             _self.onLoad(script);  
  92.             callee.apply(_self, [scripts, ++indicator]);  
  93.         });  
  94.         return true;  
  95.     }  
  96. }  


说到这里,其实,又让我想起了code.google.com提供的googleapi的加载方式,他提供了一些常用JS类库的加载,首先,它加载了googleapi:http://www.google.com/jsapi,然后就可以调用了

XML/HTML代码
  1. <script src="http://www.google.com/jsapi"></script>  
  2. <script>  
  3.   // Load jQuery  
  4.   google.load("jquery", "1");  
  5.   
  6.   // on page load complete, fire off a jQuery json-p query  
  7.   // against Google web search  
  8.   google.setOnLoadCallback(function() {  
  9.     $.getJSON("http://ajax.googleapis.com/ajax/services/search/web?q=google&v=1.0&callback=?",  
  10.   
  11.       // on search completion, process the results  
  12.       function (data) {  
  13.         if (data.responseData.results &&  
  14.             data.responseData.results.length > 0) {  
  15.           var results = data.responseData.results;  
  16.             
  17.           for (var i=0; i < results.length; i++) {  
  18.             // Display each result however you wish  
  19.             alert(results[i].titleNoFormatting);  
  20.           }      
  21.         }  
  22.           
  23.       });  
  24.     });  
  25. </script>  

方式和原理差不多。仅作参考吧。。。

Tags: loader

精通MYSQL数据库——连载十七

主键和外键
数据表之间抽象的关联/引用是依靠具体的主键和外键建立起来的。
主键的任务是帮助MYSQL以最快的速度把一条特定的数据记录在数据表里的位置确定下来,而这种寻址操作在一切需要从多个数据表提取数据的场合都会发生,简单地说,它发生得非常频繁。(例如从数据库里找出ID=12345的数据记录)。包括MYSQL在内的绝大多数数据库系统都允许人们在创建数据表时把多个字段的组合定义为一个主键,但,不管它是由单个字段还是多个字段构成,都必须满足以下条件:
1、主键必须唯一,任意两条数据记录的主键字段绝不允许重复
2、主键应该是紧凑的(为了加快寻址速度,主键都必须有索引,即主索引。主键字段越紧凑,主索引的效率也就越高。主键字段一般都是被另一张数据做外键,外键越紧凑,效率也是会越高)
在大多数数据库上,主键往往都是采用32位或64位的整做来做为主键字段,并让他们自动增长,这已经成为一种标准化的行为,它的好处是程序员无需考虑怎么样才能为每一条新记录找到一个独一无二的主键值的问题了 。

外键的任务是引用另一个数据表的某条记录,只不过这种引用关系是在构造数据库查询命令的时候而不是在声明数据表或者数据列的时候定义的。
外键在数据表的定义声明里毫无特殊之处,在MYSQL看来,外键不过是数据表里的又一个普通字段。在声明一个外键的时候,既不必使用特殊的保留字,也不必为它创建索引。不过,在声明一个外键字段时请注意,不要给这个外键字段加上auto_increment属性,因为外键字段指向哪条数据记录应该由用户决定而不是数据库,另外,外键字段的数据类型尽量与主键字段保持一致,否则where条件的求解过程将变得很慢 。
外键字段是否需要加NOT NULL根据具体情况来决定,大多数情况下,应该加上NOT NULL属性,以防止那些缺少必须数据的不完整记录被插入数据库,如果不关心数据是否完整,那就无所谓是否加上NOT NULL属性。

明天介绍外键的约束条件

Tags: mysql, 连载

jQuery性能优化指南(3)

原文来自:https://docs.google.com/View?docID=dft4vhq9_23cnccgwc7&revision=_latest

8,尽量使用ID代替Class。
 

前面性能优化已经说过,ID选择器的速度是最快的。所以在HTML代码中,能使用ID的尽量使用ID来代替class。
看下面的一个例子:

CSS代码
  1. // 创建一个list  
  2. var $myList = $('#myList');  
  3. var myListItems = '<ul>';  
  4. for (i = 0; i < 1000; i++) {  
  5.      myListItems += '<li class="listItem' + i + '">This is a list item</li>'; //这里使用的是class  
  6.  }  
  7. myListItems += '</ul>';  
  8. $myList.html(myListItems);  
  9. // 选择每一个 li  
  10.  for (i = 0; i < 1000; i++) {  
  11.     var selectedItem = $('.listItem' + i);  
  12. }   

 

在代码最后,选择每个li的过程中,总共用了5066毫秒,超过5秒了。

接着我们做一个对比,用ID代替class:

JavaScript代码
  1. // 创建一个list  
  2. var $myList = $('#myList');  
  3. var myListItems = '<ul>';  
  4. for (i = 0; i < 1000; i++) {  
  5.     myListItems += '<li id="listItem' + i + '">This is a list item</li>'//这里使用的是id  
  6. }  
  7. myListItems += '</ul>';  
  8. $myList.html(myListItems);  
  9.  // 选择每一个 li  
  10. for (i = 0; i < 1000; i++) {  
  11.      var selectedItem = $('#listItem' + i);  
  12. }   
 

在上段代码中,选择每个li总共只用了61毫秒,相比class的方式,将近快了100倍。
 
 

 

9,给选择器一个上下文
 

jQuery选择器中有一个这样的选择器,它能指定上下文。
jQuery( expression, context );

通过它,能缩小选择器在DOM中搜索的范围,达到节省时间,提高效率。
普通方式:
$('.myDiv')
改进方式:
$('.myDiv' , $("#listItem") )
 
 

10,慎用 .live()方法(应该说尽量不要使用)
 

这是jQuery1.3.1版本之后增加的方法,这个方法的功能就是为 新增的DOM元素 动态绑定事件。
但对于效率来说,这个方法比较占用资源。所以请尽量不要使用它。
例如有这么一段代码:

XML/HTML代码
  1. <script type="text/javascript" >  
  2. $(function(){  
  3.     $("p").click(function(){  
  4.          alert( $(this).text() );  
  5.      });  
  6.     $("button").click(function(){  
  7.         $("<p>this is second p</p>").appendTo("body");  
  8.     });  
  9. })   
  10. </script>  
  11. <body>  
  12.     <p>this is first p</p> <button>add</button>  
  13. </body>  

运行后,你会发现 新增 的 p元素,并没用被绑定click事件。

你可以改成.live("click")方式解决此问题,代码如下:

JavaScript代码
  1. $(function(){  
  2.     $("p").live("click",function(){ //改成live方式  
  3.          alert( $(this).text() );  
  4.      });  
  5.     $("button").click(function(){ $("<p>this is second p</p>").appendTo("body"); });  
  6. })  

但我并不建议大家这么做,我想用另一种方式去解决这个问题,代码如下:

JavaScript代码
  1. $(function(){  
  2.     $("p").click(function(){  
  3.         alert( $(this).text() );  
  4.     });  
  5.     $("button").click(function(){  
  6.         $("<p>this is second p</p>").click(function(){  //为新增的元素重新绑定一次  
  7.                 alert( $(this).text() );  
  8.         }).appendTo("body");  
  9.     });  
  10. })  

虽然我把绑定事件重新写了一次,代码多了点,但这种方式的效率明显高于live()方式,
特别是在频繁的DOM操作中,这点非常明显。


 

11,子选择器和后代选择器

 

后代选择器经常用到,比如:$("#list  p");
后代选择器获取的是元素内部所有元素。

而有时候实际只要获取 子元素,那么就不应该使用后代选择器。
应该使用子选择器,代码如下:
$("#list > p");

 

 

12,使用data()方法存储临时变量

 

下面是一段非常简单的代码, 

JavaScript代码
  1. $(function(){  
  2.     var flag = false;  
  3.     $("button").click(function(){  
  4.         if(flag){  
  5.             $("p").text("true");  
  6.             flag=false;  
  7.         }else{  
  8.             $("p").text("false");  
  9.             flag=true;  
  10.         }  
  11.     });  
  12. })  

改用data()方式后,代码如下:

JavaScript代码
  1. $(function(){  
  2.     $("button").click(function(){  
  3.         if( $("p").data("flag") ){  
  4.             $("p").text("true");  
  5.             $("p").data("flag",false);  
  6.         }else{  
  7.              $("p").text("false");  
  8.              $("p").data("flag",true);  
  9.         }  
  10.     });  
  11.   
  12. })  
jQuery性能优化指南(3)到此结束。
 
相信你也有你的idea,请共享出来吧。 Email : cssrain@gmail.com
 
我的blog:http://www.cssrain.cn

Tags: jquery

jQuery性能优化指南(2)

原文来自:https://docs.google.com/View?docID=dft4vhq9_22g93szvdd&revision=_latest

4,对直接的DOM操作进行限制
 
这里的基本思想是在内存中建立你确实想要的东西,然后更新DOM 。
这并不是一个jQuery最佳实践,但必须进行有效的JavaScript操作 。直接的DOM操作速度很慢。

例如,你想动态的创建一组列表元素,千万不要这样做,如下所示:

JavaScript代码
  1. var top_100_list = [...], // 假设这里是100个独一无二的字符串  
  2. $mylist = $("#mylist"); // jQuery 选择到 <ul> 元素  
  3. for (var i=0, l=top_100_list.length; i<l; i++){  
  4.    $mylist.append("<li>" + top_100_list[i] + "</li>");  
  5. }  

我们应该将整套元素字符串在插入进dom中之前先全部创建好,如下所示:

JavaScript代码
  1. var top_100_list = [...],$mylist = $("#mylist"), top_100_li = ""// 这个变量将用来存储我们的列表元素  
  2. for (var i=0, l=top_100_list.length; i<l; i++){  
  3.    top_100_li += "<li>" + top_100_list[i] + "</li>";  
  4. }  
  5. $mylist.html(top_100_li);  
注:记得以前还看过一朋友写过这样的代码:
JavaScript代码
  1. for (i = 0; i < 1000; i++) {  
  2.     var $myList = $('#myList');  
  3.     $myList.append('This is list item ' + i);  
  4. }   

呵呵,你应该已经看出问题所在了。既然把#mylist循环获取了1000次!!!
 

5,冒泡
 

除非在特殊情况下, 否则每一个js事件(例如:click, mouseover等.)都会冒泡到父级节点。
当我们需要给多个元素调用同个函数时这点会很有用。

代替这种效率很差的多元素事件监听的方法就是, 你只需向它们的父节点绑定一次。

比如, 我们要为一个拥有很多输入框的表单绑定这样的行为: 当输入框被选中时为它添加一个class

传统的做法是,直接选中input,然后绑定focus等,如下所示:

JavaScript代码
  1. $("#entryform input").bind("focus"function(){  
  2.     $(this).addClass("selected");  
  3. }).bind("blur"function(){  
  4.     $(this).removeClass("selected");  
  5. });  

当然上面代码能帮我们完成相应的任务,但如果你要寻求更高效的方法,请使用如下代码:

JavaScript代码
  1. $("#entryform").bind("focus"function(e){  
  2.     var $cell = $(e.target); // e.target 捕捉到触发的目标元素  
  3.     $cell.addClass("selected");  
  4. }).bind("blur"function(e){  
  5.     var $cell = $(e.target);  
  6.     $cell.removeClass("selected");  
  7. });  
通过在父级监听获取焦点和失去焦点的事件,对目标元素进行操作。
在上面代码中,父级元素扮演了一个调度员的角色, 它可以基于目标元素绑定事件。
如果你发现你给很多元素绑定了同一个事件监听, 那么现在的你肯定知道哪里做错了。
 
同理,在Table操作时,我们也可以使用这种方式加以改进代码:
普通的方式:
JavaScript代码
  1. $('#myTable td').click(function(){  
  2.     $(this).css('background''red');  
  3. });   

 

 改进方式:

JavaScript代码
  1. $('#myTable').click(function(e) {  
  2.      var $clicked = $(e.target);  
  3.      $clicked.css('background''red');  
  4. });   

假设有100个td,在使用普通的方式的时候,你绑定了100个事件。
在改进方式中,你只为一个元素绑定了1个事件,
至于是100个事件的效率高,还是1个事件的效率高,相信你也能自行分辨了。
 
 

6,推迟到 $(window).load
 

jQuery对于开发者来说有一个很诱人的东西, 可以把任何东西挂到$(document).ready下。
尽管$(document).rady 确实很有用, 它可以在页面渲染时,其它元素还没下载完成就执行。
如果你发现你的页面一直是载入中的状态,很有可能就是$(document).ready函数引起的。

你可以通过将jQuery函数绑定到$(window).load 事件的方法来减少页面载入时的cpu使用率。
它会在所有的html(包括<iframe>)被下载完成后执行。

JavaScript代码
  1. $(window).load(function(){  
  2.     // 页面完全载入后才初始化的jQuery函数.  
  3. });  

一些特效的功能,例如拖放, 视觉特效和动画, 预载入隐藏图像等等,都是适合这种技术的场合。
 

7,压缩JavaScript
 
压缩和最小化你的JavaScript文件。
 
在线压缩地址: http://dean.edwards.name/packer/
压缩之前,请保证你的代码的规范性,否则可能失败,导致Js错误。
 
 
 
jQuery性能优化指南(2)到此结束,指南(3)正在进行中....
 
相信你也有你的idea,请共享出来吧。 Email : cssrain@gmail.com
 
 
英文原文:http://www.artzstudio.com/2009/04/jquery-performance-rules/
中文翻译:http://rlog.cn/350 & http://cssrain.cn

 

Tags: jquery