易栈网-膘叔

在以前的博客文章里也介绍了怎么安装svn的，昨天我又重装了一下，不过是按照网上的教程来装的。所以遇到了点问题，那就是：目标机器积极拒绝。
安装过程如下：
$apt-get update
$apt-get install subversion
$mkdir /var/svn/
$useradd svn
$passwd svn
$chown -R svn:svn /var/svn
$svnadmin create /var/svn/test
$vim /var/svn/test/conf/svnserve.conf
把几个注释去掉。。。。
$vim /var/svn/test/conf/passwd
添加用户
$vim /var/svn/test/conf/authz
增加权限
$svnserve -d -listen-port 9999 -r /var/svn
表面上看来没什么问题。但事实上连接的时候就是目标机器积极拒绝。。
仔细想了想，应该没什么问题。看了一下进程，也确实存在 svnserve：ps -ef|grep svnserve
那问题出来哪里呢？突然想到-listen-port ，会不会端口的问题？于是杀掉进程后
$svnserve -d -r /var/svn
然后就可以连上了。。
做个记录

服务器同步，最简单的恐怕就是rsync了。如果是同一机房，如果是ubuntu，那就真的是灰常灰常简单啊。apt-get install rsync就over了。当然配置还是需要自己来的。
找的资料居然是百度百科的。好郁闷啊。不过。。。还是COPY一份了（话又说回来，现在百度百科在人肉整理+金钱攻势下，资料也真的是越来越完善了。只是不知道啥时候会把RFC也帮忙全部汉化一下吧。比如大家关心的tcp/ip,http协 议等，是不是也该整个汉化的版本之类的？【或许已经有了只是没有注意过罢了】）
原文：http://baike.baidu.com/view/1183189.htm
rsync是类unix系统下的数据镜像备份工具，从软件的命名上就可以看出来了——remote sync。它的特性如下：

1. 可以镜像保存整个目录树和文件系统。
2. 可以很容易做到保持原来文件的权限、时间、软硬链接等等。
3. 无须特殊权限即可安装。
4. 优化的流程，文件传输效率高。
5. 可以使用rcp、ssh等方式来传输文件，当然也可以通过直接的socket连接。
6. 支持匿名传输，以方便进行网站镜象。

软件下载
rysnc的主页地址为：http://rsync.samba.org/ ，目前最新版本为3.0.7。可以选择从原始网站下载：http://rsync.samba.org/ftp/rsync/。
安装
Ubuntu安装: sudo apt-get install rsync
RedHat: yum install rsync
编译安装
rsync的编译安装非常简单，只需要以下简单的几步：
[root@www rsync-2.4.6]# ./configure
[root@www rsync-2.4.6]# make
[root@www rsync-2.4.6]# make install
但是需要注意的是必须在服务器A和B上都安装rsync，其中A服务器上是以服务器模式运行rsync，而B上则以客户端方式运行rsync。这样在web服务器A上运行rsync守护进程，在B上定时运行客户程序来备份web服务器A上需要备份的内容。
rsyncd.conf
rsync服务器的配置文件是rsyncd.conf.
以下是一个rsyncd.conf的样本:
# Distributed under the terms ofthe GNU General Public License v2
# Minimal configuration file for rsyncdaemon
# See rsync(1) and rsyncd.conf(5) man pagesfor help
# This line is required by the/etc/init.d/rsyncd script
pid file = /var/run/rsyncd.pid
port = 873
uid = root
gid = root
use chroot = yes
read only = yes
max connections = 5
#This will give you a separate log file
#log file = /var/log/rsync.log
log format = %t %a %m %f %b
syslog facility = local3
timeout = 300
[test]
path = /home/nemo
list=yes
ignore errors
auth users = root, nemo
secrets file = /etc/rsyncd/rsyncd.secrets
comment = linuxsir home
exclude = tmp/
各个参数具体含义参见man rsyncd.conf
服务器端启动:
usr/bin/rsync --daemon --config=/etc/rsyncd/rsyncd.conf
可能需要root权限运行.
/etc/rsyncd/rsyncd.conf 是你刚才编辑的rsyncd.conf的位置.
也可以在/etc/rc.d/rc.local里加入让系统自动启动等.
客户端同步:
rsync -参数 用户名@同步服务器的IP::rsyncd.conf中那个方括号里的内容 本地存放路径 如:
rsync -avzP nemo@192.168.10.1::nemo /backup
说明：
-a 参数，相当于-rlptgoD，-r 是递归 -l 是链接文件，意思是拷贝链接文件；-p 表示保持文件原有权限；-t 保持文件原有时间；-g 保持文件原有用户组；-o 保持文件原有属主；-D 相当于块设备文件；
-z 传输时压缩；
-P 传输进度；
-v 传输时的进度等信息，和-P有点关系，自己试试。可以看文档；

扩展阅读： 

1. http://chenzhuo.blog.51cto.com/150592/269530 rsync配置实例

现在，windows下面也有rsync客户端了。。。

关于linux下发短信，我是找到这篇 文章，但是我想要的只是一点点啦。因为我是用SP接口。

先上他的内容，然后我把我当初做的列出来，原文是在：http://www.cnblogs.com/pipc/archive/2010/07/11/1775007.html：

     前段时间为用户提供VPN 和SSH 服务，消息的都是通过电子邮件发送的。没有短信的快捷和实时性，决定搭建自己的短信平台。

在此之前我也用过其他服务商提供的短信平台，都有各种各样的问题。

其中短信平台存在的问题：

1、发送短信有时段限制，有些短信通道只能在 上午8点 到晚上8点发送，如果遇到夜间的紧急时间需要发送短信就无能为力了，比如服务器当机、MSSQL数据库日志满了、系统盘空间不足。 在Linux 下磁盘空间不足会照成MySQL启动失败。

2、通过通道发送短信限制十分严格，相对于个人手机，进行关键词屏蔽非常厉害，  比如 “发票”、“还钱”、“你妈”有些常用词都不能发。 句子里包含关键词都发送失败， “我中午去打印手机话费发票”、“听说你妈住院了，现在身体好吗？”， 通过个人手机限制的就不严格。

3、通道拥挤的情况，因为这些通道一般都是提供批量发送广告的， 一次发送1万条，10万条都很正常。 如果这个时候你发送短信，只能排在消息队列的最后。 通常延时20分钟到4小时。

4、通道设备故障，因为各种情况照成的消息队列内的短信丢失。 你调用API接口发送短信，短信状态时成功的，由于平台的故障照成短信没有发送成功，而且你得不到错误的状态，费用照扣。

5、扣量，各个短信平台情况不一样， 价格比较低的扣量比较严重， 比如你群发 10万条，  前 5000条100%发送，  5000 -1万条  发送 95%， 1万-2万条 发送 90%， 到10万条的时候55% 甚至更低。

发送短信一般有2种方法， 一种是通过短信通道发送， 还有就是自己购买设备发送短信。

 申请单独的短信通道要求比较高，一般在10-30万费用，比较大型的公司才会申请，比如银行、证劵等， 发送的号码都是95555 ，96000等， 还有就是106557**** 这样的通道。 申请的费用较少，一般几千元就可以申请到。 通道提供商业一般提供2种接口， 一种是API接口,通过API发送短信，比如http://www.pipc.net/sms/send.aspx?id=130130****& amp;msg=测试短信 ,还有一种数据库接口，你可以连接到数据库直接把消息插入相关的表中。

--EOF--

因为我是采用的购买的SP的服务。因此，发送短信就相当于类似上面的方法了。不过我也想过接收短信，是采用原文中下面的方式（http://www.cnblogs.com/pipc/archive/2010/07/11/1775007.html）【我这里不一一介绍】

我具体是在linux下面跑一个cron任务，这样可以一直从队列里进行发送短信。大多数情况下我们是即时发送的，只是有时候会有堵塞，这时候我们就扔到队列里（当然，是需要返回结果不是手机号码不正确的原因才会扔到队列里，如果手机号码都不对了，扔到队列里也发送不了。）

接收短信，只要在任何一台机器上搞一个移动猫，用任何程序都可以定时读取信息。如果是接收到相应的代码就触发一些操作。有这种功能就免得你买一些需要接收固定号码的SP了，那样的价格高很多呢。

让人意外的是这个标题：【Google爬虫：不仅索引链接，还可以运行js代码】,真的没想过，看看cnbeta怎么说的？

一直以来Google的搜索爬虫就具有阅读JavaScript代码的功能，但是多年以来我们一直都不清楚Google的爬虫是否真正理解了其正在抓取的 东西或者说它仅仅只是在易于理解的数据结构中对各种链接进行呆板的检索。本周五，一位Google的发言人向《福布斯》确认Google所作的远远超过对 js代码的简单分析。这位发言人表示：“Google能够分析并理解某些JavaScript”。

        Google的表述让我们意识到其爬虫所作的工作也许不仅仅只是获得对页面的相关链接，还能够像人一样与各类程序发生互动——发现Bing这类搜索引擎所 不能发现的网络世界。而这意味着，Google重新定义了搜索引擎。在Google的搜索结果里面只有很少的js代码，而且Google也将这种js代码 的解释功能做了很多保留。比如在Google站点搜索（Google's Site Search）的文档显示其不能够索引带有js代码的内容。一本关于索引的入门教材这样写道：它（Google爬虫）“不能够处理带有富媒体的内容或者是 动态网页”。仔细检查服务器日志中的记录我们便可以发现Google现在索引那些并不是直接包含在js代码里面的链接，Google的爬虫只有确定自己能够运行部分代码的时候才能明白整段代码到底是什么意思。

        Mark Drummond，一家独立搜索引擎公司Wowd的首席执行官（我们在今年之前的杂志中采访过他）在一封邮件中告诉我们理解js代码“是一个非常深刻、难度极大和一场经典的计算科学难题。”他解释道Google的努力在于它能够发现js代码在网页中是否存在停止运行的情况。 他表示“停止运行的问题是无法判定的”，他说迄今为止还没有已知的算法能够在任何程序的任何时间点告诉我们该程序是否陷入了死循环，而且数学上已经证明了 这一点。Drummond自己的公司通过人工的方式检索其索引并标明是否有可能简化这个复杂的问题，同时判断一个网络程序是否向另外的程序发起了数据请 求。也许，这正是Google现在在做的事情。

        另一位同Google接近的搜索引擎人士也认同Drummond关于理解js代码复杂性的看法。他认为用一个程序去分析另一个程序是很困难的事情，执行js代码几乎是现阶段能够做到的极限了。

        而Google在六月发布的改进版搜索算法（即Caffeine）似乎开始能够理解部分js代码了。如果这是真的，那么Google的工程师已经教会了其爬虫如何执行部分js代码。这真是一大突破！

       cnBeta.com编译自Forbes

--EOF--

额。这样就比较有意思了。。JS也能够被解析？确实有点恐怖，未来会怎么样？真的是象浏览器一样的访问吗？他们也会兼容所有的浏览器吗？会。。。模拟登录吗？这才是我关心的，会识别验证码吗？

一般来说，限速这东西仅限于FTP，可以给FTP用户进行限速，但，如果你没有FTP，仅有HTTP的情况下如何呢？上次vampire演示过一段，同时还根据URL来读取文件的区块。事实上我们的需要没有那么复杂，向tom zheng博客上的这段就够我们用了。不是吗？再者，现在用nginx的机器应该很多了吧（我没有用，因为，我不可能为线上每个用户都去设置一遍他们的rewrite规则。只能将就一下了。）

原文来自：http://zys.8800.org/index.php/archives/322

nginx可以通过HTTPLimitZoneModule和HTTPCoreModule两个目录来限速。

示例:

limit_zone one $binary_remote_addr 10m;

location / {
        limit_conn one 1;
        limit_rate 100k;
}

说明:

limit_zone，是针对每个IP定义一个存储session状态的容器。这个示例中定义了一个10m的容器，按照32bytes/session，可以处理320000个session。

然后针对 /目录进行设定。

limit_conn one 1;  是限制每个IP只能发起一个连接。

limit_rate 100k;    是对每个连接限速100k. 注意，这里是对连接限速，而不是对IP限速。如果一个IP允许两个并发连接，那么这个IP就是限速limit_rate x 2。

关于limit_zone的原始文档，请见 http://wiki.nginx.org/NginxHttpLimitZoneModule

关于limit_rate和limit_conn的原始文档，请见 http://wiki.nginx.org/NginxHttpCoreModule