PHP的命名空间啊。被很多人所诟病,理由就是那个反斜杠。被当成转义符的反斜杠承担起了命名空间的重任。可想而知,他承受的压力有多大。。。
还好,还是有人在支持的,以下就是一篇支持文章,翻译过的。翻译人当然不是我,我要会翻译也就不写程序了。去翻译点文章忽悠人了。
» 阅读全文
搜索ucenter的手册时,发现了ucapi.com网站,上面已经有一些内容了,什么使用手册,官方API,官方例程之类的。
以前下载的都是离线版的chm文件 ,经常会在硬盘里找不到。现在有一个在线版的。方便很多。查起来也很容易
呵呵。也算是推荐一下了。。
如果是用comsenz系统的人,估计都会用到ucenter吧。那么ucapi这样的东西就必须要看了
如果不使用passport,那么把用户session存入数据库留给多个程序调用是最方便的手段了。看到这个性能测试方案,想着留下来以备案。
tokyo tyrant现在开始被人推崇了。记得以前ruby也是。为什么这么多的好东西,都是日本人发明的?真是郁闷。。。。
原文如下:
在我负责的某个项目(调查类型的网站),不久前进行了一次推广调查。因为推广邮件是在同一时间发出,所以在5分钟之内,访问量剧增,发生了15000次左右的并发业务操作,整个系统的反映速度降低很明显。
该项目使用3台web服务器,2台mysql数据库。3台web服务器间的session共享通过NFS实现。经过后来调查,访问速度骤降是session并发导致的。
因此,开始考虑其他的session共享方案。考虑到未来能更容易的进行横向扩展,所以计划采用memcached和Tokyo tyrant。
memcached在国内的应用已经很广泛了。Tokyo tyrant是日本人 平林幹雄 开发的一款 DBM 数据库,该数据库读写非常快,哈希模式写入100万条数据只需0.643秒,读取100万条数据只需0.773秒,是 Berkeley DB 等 DBM 的几倍,想深入了解的人可以参考:http://blog.s135.com/post/362/。
在论证备选方案的可行性开始之前,先做个压力测试是必须的。
【测试环境】
4台pc安装JMeter模拟client,web服务器一台,一台cache服务器(用来安装NFS服务,Memcached,Tokyo tyrant)。
使用4台pc安装JMeter模拟client的原因是:使用JMETER进行并发测试的时候,单台PC只能发起4100个并发线程(这个不同机器会有不同),因此要做15000的并发测试,必须4*4100.
web服务器上apache设置:MaxClient 256
原来MaxClient 150 的情况下会成为性能瓶颈,改成256之后,apache没有成为瓶颈。针对某个功能做压力测试的时候,务必要做到其他环节不会成为系统贫瘠,不然测试就毫无准确度可言了。
安装NFS, memcached, Tokyo tyrant的cache服务器配置:
CPU: Intel(R) Pentium(R) 4 CPU 2.40GHz
Mem: 256M
HD: 40G
这台机器有点太寒碜了,呵呵,不过据说memcached对硬件配置要求很低,刚好可以验证下。
【测试程序】
因为是测试session的并发性,所以设计成个最简单的session操作流程:
1 page1.php创建session,往session写入1kb的数据,记录$time_start。
2 header至page2.php
3 page.php取得session,记录下$time_end,并计算出时间差$time_end-$time_start。
page1.php代码:
PHP代码
- <?php
- function microtime_float()
- {
- list($usec, $sec) = explode(" ", microtime());
- return ((float)$usec + (float)$sec);
- }
- $time_start = microtime_float();
-
- session_start();
-
- $_SESSION['name']='abcdefghjiasdfsadflklklasdlklkjsfdkjkasdflkjsadfkljkljsdfaasdfsafdlklkjsadfkljsdafkljljksdflkflsadflkjlkjsdaflkjdsfaljklsdfajljfsd
- sadflsadfljklkjsdfjlksdfaljkfjlkfslkjsadfjlksdflakkljsfdlkjsafdlkjsafdlkjlasdfkjlkjasdfljkasdlkjfsdlkjsdflkjlkasjdfljkasflkjasflkjdsaflkjlksdafklasdljksadkljfjklsdfjklfkjlsafkjlsjkldafljksljksaljklksjfdajklsdfakljsafdkljsafkdljkljsfadjklsafdasdfsfdaabcdefghjiasdfsadflklklasdlklkjsfdkjkasdflkjsadfkljkljsdfaasdfsafdlklkjsadfkljsdafkljljksdflkflsadflkjlkjsdaflkjdsfaljklsdfajljfsd
- sadflsadfljklkjsdfjlksdfaljkfjlkfslkjsadfjlksdflakkljsfdlkjsafdlkjsafdlkjlasdfkjlkjasdfljkasdlkjfsdlkjsdflkjlkasjdfljkasflkjasflkjdsaflkjlksdafklasdljksadkljfjklsdfjklfkjlsafkjlsjkldafljksljksaljklksjfdajklsdfakljsafdkljsafkdljkljsfadjklsafdasdfsfdaabcdefghjiasdfsadflklklasdlklkjsfdkjkasdflkjsadfkljkljsdfaasdfsafdlklkjsadfkljsdafkljljksdflkflsadflkjlkjsdaflkjdsfaljklsdfajljfsd
- abcdefghjiasdfsadflklklasdlklkjsfdkjkasdflkjsadfkljkljsdfaasdfsafdlklkjsadfkljsdafkljljksdflkflsadflkjlkjsdaflkjdsfaljklsdfajljfsd';
-
-
- header( "location:./page2.php?sid=".session_id()."&time_start=".urlencode($time_start) );
page2.php代码:
PHP代码
- <?php
- session_id($_GET['sid']);
-
- function microtime_float()
- {
- list($usec, $sec) = explode(" ", microtime());
- return ((float)$usec + (float)$sec);
- }
-
- session_start();
- $name = $_SESSION['name'];
-
- $time_start = urldecode($_GET['time_start']);
- $time_end = microtime_float();
- $time = ($time_end - $time_start)*1000;
-
- $_file = './log/'. $_GET['sid'] . '.log';
- $fp = fopen( $_file, 'a');
- @fwrite($fp, $time);
- @fclose($fp);
-
- echo "$time Millisecond<br>";
- echo $name;
- ?>
从代码可以看出,最后得到的time值并不是单纯的session操作的时间,session操作的时间会比这个值小。这样设计的原因是,这个值更能反映系统session并发操作的真实状况,但需确保测试环境的网络稳定,因为header函数的关系。
最后,再用perl写个简单的统计程序average.pl:
Perl代码
- #!/usr/bin/env perl
- my $log_dir = "./log/";
- my $total_times = 0;
- my $file_nums = 0;
- opendir DH, $log_dir or die "无法打开 $log_dir: $!";
- foreach $file (readdir DH) {
- open LOGFILE, "< $log_dir$file";
- while (<LOGFILE>)
- {
- $total_times = $total_times + $_;
- $file_nums = $file_nums + 1;
- }
- }
- print $file_nums . " sessions\n";
- print "average time is:" . $total_times/$file_nums . "\n";
- closedir DH;
【测试过程说明】
1 使用badboy先生成Jmeter脚本,然后用Jmeter进行分布式并发测试。
2 php对于使用memcached来存储session的实现已经非常简单,只需要进行如下配置:
session.save_handler memcache
session.save_path tcp://192.168.8.2:11211
3 如何使用Tokyo tyrant来存储session呢?因为Tokyo tyrant完全兼容memcached的client,所以配置和memcache几乎完全一样,只要改下IP和端口号就可以了。
【测试结果】
使用NFS共享session:
2000 sessions
average time is:57.2385746240701
3000 sessions
average time is:188.679696798311
4000 sessions
average time is:1139.70507353546
5000 sessions
average time is:5486.23318772304
5000 sessions
average time is:5526.97186436598
5670 sessions(说明:发起了6000个访问,却只成功了5670)
average time is:8324.00726914608
5489 sessions(说明:发起了6000个访问,却只成功了5489)
average time is:9749.52457159197
从上面的结果看,NFS支持并发能力非常有限。根本没有办法支持到15000个session。在6000个session的时候,就会发生session 丢失等未知的状况。即使在5000个session以内,虽然可以完成测试,但性能低下。
当然,这和我使用的NFS服务端的机器配置很低有关,相信优化配置,或者“采用session存储的时候,进行目录分级”可以进行一定程度的优化,但NFS的并发操作确实存在问题。
因为有另一个理由:为了方便测试,我写了个perl程序用来删除session目录下的所有文件。
del_files.pl代码:
Perl代码
- #!/usr/bin/env perl
- my $log_dir = "./log/";
- unlink glob "$log_dir/*.*";
-
- my $session_dir = "./session_tmp/";
- unlink glob "$session_dir/*";
-
- my $session_dir2 = "./session_nfs/";
- unlink glob "$session_dir2/*";
当这个程序用于删除NFS目录下的session文件时,程序运行的时间明显比用于删除非NFS目录慢非常的多。
使用Memcached共享session:
5000 sessions
average time is:8.691506099701
10000 sessions
average time is:9.07290377616917
15000 sessions
average time is:9.10538846651721
15000 sessions
average time is:9.42796174685197
15000 sessions
average time is:9.43535621960958
从以上结果可以看出,memcached性能很稳定,在5000,10000,15000个session几种情况下,每个流程处理的平均时间稳定在8毫秒到10毫秒之间。
使用Tokyo tyrant共享session:
5000 sessions
average time is:8.92114758491478
10000 sessions
average time is:8.35826919078823
15000 sessions
average time is:10.7764382680262
15000 sessions
average time is:11.4394629955285
15000 sessions
average time is:8.92091128031373
15000 sessions
average time is:10.3760389963784
tokyo tyrant速度也很快。但稳定性不如memcached,可能对机器的配置要求会高些吧,或者我对tokyo tyrant配置不了解也有可能。
从测试结果看,NFS用于存储session时候的并发性能明显不如memcached和tokyo tyrant。memcache和tokyo tyrant还可以进行更大规模的并发测试。但是限于我当前的硬件,没有再进行更大规模的测试。
ok了,Memcached和tokyo tyrant的表现都让人满意,符合预期。至于要选择哪个,就得考虑其他因素了:
1 是 否需要持久存储,Memcached是不支持持久存储的,当然可以考虑使用 Memcached+DB的方式来达到“一定程度上的持久存储”,即Memcached实时保存session,在每隔一段时间(比如1分钟)将 session保存到DB,至于能否接受这种方案,得看业务需求而定了。Memcached和tokyo tyrant的其他差别,可以参考下
http://blog.s135.com/post/362/等资料
2 对于这两项技术的掌握程度,整体上说,这两个技术应该都是靠得住,tokyo tyrant在日本也有不少成功的应用。但从国内来看,Memcached应用得较多,使用tokyo tyrant的话,还是要有一定的钻研精神才行。
原文请见:
NFS,Memcached,Tokyo tyrant实现session共享性能测试
from Thinking in LAMP - 老王的技术手册 作者:老王
第一条就很好说了,以前也写过利用 find + xargs进行删除 .svn 目录的日志,就不再多提
第二条嘛。smarty手册里已经有介绍,无非就是利用传递的参数来进行变量的替换
第三条,在实际项目中会有遇到,如果使用GBK处理,你会发现基本上是不处理,换成GB2312才正常
第四条就需要查看explain的结果,并根据实际项目中最常的搜索等来进行分析和处理。以确定最佳索引
第五条呢。。黑黑,我就是不明真相的围观群众。记得在mysql 5的时候,set names 'xxx' 其实就等于set collection等,所以从discuz 6.1开始,他们也不用set names了。好象有BUG?请查看关于
set names
--start--
Shell批量修改文件内容
比如说,我想把网页文件里的foo都替换成bar,主要是利用sed的-i参数:
find /path -type f | grep -i -E '(htm|html)$' | xargs sed -i 's/foo/bar/g'
在Smarty模板里渲染嵌套数据
主要是利用include语法,
<!--{include file="_tpl.html" param=$foo}-->
然后在_tpl.html模板里接着使用:<!--{include file="_tpl.html" param=$bar}-->,即完成了嵌套数据的渲染。
PHP中mb扩展的编码问题
mb_internal_encoding('gb2312');
mb_regex_encoding('gb2312');
需要注意的是mb_regex_encoding不支持gbk,此时你只能使用gb2312, 类似的问题htmlspecialchars也有。
MySQL里索引的选择及取舍
给个简单的例子:按创建时间倒叙查询文章及其类别信息
SELECT *
FROM articles LEFT JOIN categories on articles.category_id = categories.id
WHERE articles.user_id = ... ORDER BY articles.created DESC LIMIT ...
那么单就这条查询而言,articles和categories表应该分别具备哪些索引呢?
articles表应该创建“user_id+created”复合索引,基本守则是先后联合"WHERE里的字段+ORDER里的字段",不过这只是最 理想的情况,很多时候,我们往往只能在"WHERE里的字段"建索引,或者在"ORDER里的字段"建索引,此时索引的选择就显得很有讲究,不应该一味的 以为只能使用"WHERE里的字段"建的索引,有时候使用"ORDER里的字段"建的索引更有效,这取决于是先用WHERE筛选后ORDER排序高效,还 是先ORDER排序后WHERE筛选高效,具体的选择取决于数据的分布情况。
另一个问题是articles.category_id = categories.id里,articles.category_id和categories.id哪个应该是索引,但就此例来说,在 articles.category_id列上索引是无意义的,因为通过WHERE或者ORDER之上的索引命中数据后,自然就得到了 articles.category_id的值,此时没有必要在它上面建索引,当然其它的时候可能需要,至于categories.id字段,肯定需要索 引了,这样才能从articles.category_id直接查询命中。
想获得UTF-8编码的数据,但MySQL表的编码是GBK的
很多人在处理这个问题时,是先查询MySQL获得原始数据,然后使用iconv或者mb_convert_encoding把编码从GBK转换成UTF- 8,其实只要在查询前SET NAMES ‘utf8’即可,不明真相的MySQL使用者们往往认为GBK编码的表在查询时只能SET NAMES ‘gbk’,这实在是一大谬误。
这是我的开发心得,但说白了,其实很简单。只要几个简单的步骤就可以了
1、到ucenter里创建一个新的应用,设定好你的路径,还有就是接收信息的文件,默认是uc.php,还有,是否同步登录,是否接受通知。
2、保存后,再编辑,你会发现最下面有一些define的字段,COPY出来,存为uc_config.php,放到你的项目里,留着被引用
3、到其他的dz程序里把uc.php COPY出来,进行简单的修改。根据第一步的设定,以确定你的最少action是什么。
- 默认action中一定要有test,否则会通讯不成功
- 如果开启通知,则一定要有updateapps,updateapps中有两个步骤:1是把所有的应用的缓存写入uc_client/data/cache/ucapps.php(好象文件名没记错)中;2是把当前APP_ID对应的配置重写为uc_config.php里
- 如果开启同步登录,则需要有synlogin,synlogout两个action
- 其他的就看你自己了,请对应手册,比如updatepwd,rename等操作。
4、部分uc_client函数返回是html代码,请echo出来看看是什么代码,如果是script的,请直接echo,否则无法与其他app同步。这个要切记切记。(为了这个,我测试了将近三天。可恨的是DZ代码中根本没有说明,只说返回HTML代码。)
其他就没有什么了。在你需要使用的时候调用一下uc_xxx的方法就行了。