手机浏览 RSS 2.0 订阅 膘叔的简单人生 , 腾讯云RDS购买 | 超便宜的Vultr , 注册 | 登陆
浏览模式: 标准 | 列表2009年05月22日的文章

网站多服务器负载均衡引起的开发问题及解决方案

Submitted by gouki on 2009, May 22, 5:05 PM

本文来自kakapo的博客，kakapo，如果没有记错，应该是pchome的人吧。。。负载均衡我暂时还没有用到，毕竟我就一台服务器也没必要在服务器上装上17、8个虚拟机来跑这些负载均衡吧。

原文地址：http://www.kakapo.cn/blog/read.php?153

内容：

先罗列一下问题：
1、session会话数据共享问题
2、缓存数据文件共享问题
3、用户数据共享问题
4、上传数据存储问题
5、Log日志文件共享同步问题
6、配置文件管理问题
7、web服务器时间获取不一致问题

这些问题都是从项目经验中总结出来的，接下来在一一讨论解决的办法。
1、session会话数据共享问题    

推荐使用memcached分布式缓存系统来解决，可以参考我之前写一篇文章《Memcached的介绍和应用》。

2、缓存数据文件共享问题解决方案

所谓缓存数据，一般指网站前台程序本身产生的数据，比如，数据库查询类产生的数据对象缓存，缓存类产生的本地缓存数据，远程抓取类产生的本地临时缓存文件等等。    
有 些数据看似不需要共享，就像那些在每台机器上都能自动产生的数据。但是如果刚好碰到某个时刻数据更新了，缓存时间又不同步，就会造成负载均衡上的每台机器 缓存数据不相同。这也会给用户的访问带来一定的困扰。当然针对的解决办法就是想办法让缓存同时过期，保证缓存的内容相同，这就不需要考虑共享的问 题。    
远程抓取经常会涉及到模拟登陆，在本地一般会保存模拟登陆用户的cookie数据，这个就一定得想办法解决共享。否则用户在负载 A机器上执行了模拟登陆程序，在本地产生了cookie文件，但是下次请求被分配到负载B机器上执行抓取程序，却发现需要用上的cookie文件在本地不 存在，马上程序就会被远程服务器拒绝访问。这种cookie的临时文件很多而且改动频繁。目前我们采用了NFS的方案，mount指定的一个缓存目录，让 负载的每台机器都能像本地目录一样访问，暂且还行的通。也可以将这个单独的应用放到一台机器，来避免这个问题。

3、用户数据共享问题    
所谓用户数据，范围比较广。这里一般指在用户的独立目录空间保存的用户独用的数据。比例用户自己的相片，头像等等。    
之 前我们采用的方法是搞一台存储服务器，通过一定的规则为用户创建目录空间，然后存储服务器通过NFS共享到所有负载均衡的web服务器。这种做法在几百万 用户的网站还行得通。主要问题在于NFS在高并发访问下会出现一些不稳定，会丢失文件访问句柄。另外还有mount管理带来的麻烦，以及数据安全等风险。 顺便提起用户目录空间的创建规则，分散均匀是一个最大的原则，采用哈希值切分方式比较合适。 采用用户名或者时间因子虽然方便了一些记忆和查询，但是容易碰到局部目录达到系统最大限制的问题。    
所以，推荐使用分布式文件系统解决方案。国人happy_fish100开发了一个高效的开源的分布式文件系统FastDFS，比较完善，使用简单，功能强大。特别适合解决我当前遇到的问题。自称比国外的Mogilefs还强大。让我更心动的是提供了PHP client API，采用socket访问。在应用中调用也非常方便。

4、上传数据存储问题    

这 个问题再单独拿出来谈是有根据的。在前台用户上传的自己相关的数据可以归属前面一个问题的范畴。前台也有一些用户上传的数据跟用户无关，还有网站后台也会 有很多上传的数据。之前的做法可以是通过FTP服务将这些数据上传到存储静态文件的服务器上，也有通过NFS方式共享静态文件服务器的指定目录到web服 务器。现在除了FTP方案之外，我也推荐尝试使用FastDFS来管理静态文件服务器的数据，但是要修改一下设计，可以在FastDFS的storge服 务器上直接架设http服务器，让静态文件能直接通过URL访问。

5、Log日志文件共享同步问题    

所谓的Log日志也是web服务器程序自动产生的，比如错误日志，访问日志等。在一般情况一下也可以考虑让其不共享，无非是分析日志的时候每台机器都要做一遍。

6、配置文件管理问题&web服务器时间获取不一致问题      

配置文件管理问题严格来讲不属于开发遇到的问题，而是运维人员烦恼的事情。当然，通过合理的将配置文件进行归类和存储，还是可以减少运维人员的困难的。web服务器的配置文件的最好也不用共享，文件的同步可以让系统管理员通过系统命令去自动完成。
web服务器时间不一致虽然可以通过系统定时跟全球的时间服务器同步，但是在开发过程中程序还是要尽量避免使用本地时间函数，特别是跟数据库有关系的数据，可以通过采用数据库的时间函数来解决。

 

Tags: kakapo, 负载均衡

Linux | 评论:0 | 阅读:22113

js Loader

Submitted by gouki on 2009, May 22, 4:41 PM

Javascript的后加载，很多人都写过，这是为了防止最初加载的JS过多影响网速 。看到风雪之隅写了一个，看上去挺漂亮就转载了一下。。。

原文：http://www.laruence.com/2009/05/21/829.html

示例：

JavaScript代码
  1. var loader = Loader;  
  2.   loader.onReady = function(){  
  3.      alert('全部载入完成');  
  4.   }  
  5.       
  6.   loader.on('onLoad', function(name) {  
  7.       alert(name + '载入完成');  
  8.   });  
  9.   loader.load([  
  10.       'http://www.laruence.com/1.js',  
  11.       'http://www.laruence.com/test.js',  
  12.       'http://www.laruence.com/main.js'  
  13.     ]  
  14.   );  


源码：

JavaScript代码
  1. /** 
  2.  * Eve Js Loader 
  3.  * @version 1.0.1 
  4.  * @author laruence<laruence at yahoo.com.cn> 
  5.  * @copyright (c) 2009 www.laruence.com 
  6.  */  
  7.    
  8. /** 
  9.  * a global object instance, you can easily change to a class definition 
  10.  */  
  11. var Loader = {  
  12.     /** 
  13.      * @var onLoad  when load a individual file completed , 
  14.      * this event will be fired * @param string name  loaded script file name 
  15.      */  
  16.     onLoad : function(name){},  
  17.     /** 
  18.      * @var onReady when all scripts loaded, this event will be fired 
  19.      */  
  20.     onReady : function(){},  
  21.     /** 
  22.      * a empty constructor 
  23.      */  
  24.     init : function(container) {  
  25.     },  
  26.     /** 
  27.      * a empty error handler 
  28.      */  
  29.     handlerError : function(e) {  
  30.         alert(e);  
  31.     },  
  32.     /** 
  33.      * event register 
  34.      * @param string evt  event name 
  35.      * @param function handler 
  36.      */  
  37.     on : function(evt, handler) {  
  38.         switch ( evt.toLowerCase() ) {  
  39.             case 'load' :  
  40.                 this.onLoad = handler;  
  41.             break;  
  42.             case 'ready' :  
  43.                 this.onReady = handler;  
  44.             break;  
  45.             default :  
  46.             break;  
  47.         }  
  48.         return true;  
  49.      },  
  50.     /** 
  51.      * private method 
  52.      */  
  53.     _load : function(path, callback) {  
  54.         try {  
  55.             var script = document.createElement('script');  
  56.             script.src = path;  
  57.             script.type = "text/javascript";  
  58.             document.getElementsByTagName("head")[0].appendChild(script);  
  59.             if( script.addEventListener ) {  
  60.                 script.addEventListener("load", callback, false);  
  61.             } else if(script.attachEvent) {  
  62.                 script.attachEvent("onreadystatechange", function(){  
  63.                         if(script.readyState == 4  
  64.                             || script.readyState == 'complete'  
  65.                             || script.readyState == 'loaded') {  
  66.                             callback();  
  67.                         }  
  68.                 });  
  69.             }  
  70.         } catch(e) {  
  71.             this.handlerError(e);  
  72.             callback();  
  73.         }  
  74.     },  
  75.     /** 
  76.      * start loding process 
  77.      * @param array scripts  files want to be loaded 
  78.      */  
  79.     load : function(scripts) {  
  80.         var total = scripts.length;  
  81.         var _self  = this;  
  82.         var indicator = arguments[1] || 0;  
  83.         if ( indicator >= total ) {  
  84.             _self.onReady();  
  85.             return true;  
  86.         }  
  87.    
  88.         var callee = arguments.callee;  
  89.         var script = scripts[indicator];  
  90.         this._load(script, function() {  
  91.             _self.onLoad(script);  
  92.             callee.apply(_self, [scripts, ++indicator]);  
  93.         });  
  94.         return true;  
  95.     }  
  96. }  


说到这里，其实，又让我想起了code.google.com提供的googleapi的加载方式，他提供了一些常用JS类库的加载，首先，它加载了googleapi：http://www.google.com/jsapi，然后就可以调用了

XML/HTML代码
  1. <script src="http://www.google.com/jsapi"></script>  
  2. <script>  
  3.   // Load jQuery  
  4.   google.load("jquery", "1");  
  5.   
  6.   // on page load complete, fire off a jQuery json-p query  
  7.   // against Google web search  
  8.   google.setOnLoadCallback(function() {  
  9.     $.getJSON("http://ajax.googleapis.com/ajax/services/search/web?q=google&v=1.0&callback=?",  
  10.   
  11.       // on search completion, process the results  
  12.       function (data) {  
  13.         if (data.responseData.results &&  
  14.             data.responseData.results.length > 0) {  
  15.           var results = data.responseData.results;  
  16.             
  17.           for (var i=0; i < results.length; i++) {  
  18.             // Display each result however you wish  
  19.             alert(results[i].titleNoFormatting);  
  20.           }      
  21.         }  
  22.           
  23.       });  
  24.     });  
  25. </script>  

方式和原理差不多。仅作参考吧。。。

Tags: loader

Javascript | 评论:0 | 阅读:17500