易栈网-膘叔

让人意外的是这个标题：【Google爬虫：不仅索引链接，还可以运行js代码】,真的没想过，看看cnbeta怎么说的？

一直以来Google的搜索爬虫就具有阅读JavaScript代码的功能，但是多年以来我们一直都不清楚Google的爬虫是否真正理解了其正在抓取的 东西或者说它仅仅只是在易于理解的数据结构中对各种链接进行呆板的检索。本周五，一位Google的发言人向《福布斯》确认Google所作的远远超过对 js代码的简单分析。这位发言人表示：“Google能够分析并理解某些JavaScript”。

        Google的表述让我们意识到其爬虫所作的工作也许不仅仅只是获得对页面的相关链接，还能够像人一样与各类程序发生互动——发现Bing这类搜索引擎所 不能发现的网络世界。而这意味着，Google重新定义了搜索引擎。在Google的搜索结果里面只有很少的js代码，而且Google也将这种js代码 的解释功能做了很多保留。比如在Google站点搜索（Google's Site Search）的文档显示其不能够索引带有js代码的内容。一本关于索引的入门教材这样写道：它（Google爬虫）“不能够处理带有富媒体的内容或者是 动态网页”。仔细检查服务器日志中的记录我们便可以发现Google现在索引那些并不是直接包含在js代码里面的链接，Google的爬虫只有确定自己能够运行部分代码的时候才能明白整段代码到底是什么意思。

        Mark Drummond，一家独立搜索引擎公司Wowd的首席执行官（我们在今年之前的杂志中采访过他）在一封邮件中告诉我们理解js代码“是一个非常深刻、难度极大和一场经典的计算科学难题。”他解释道Google的努力在于它能够发现js代码在网页中是否存在停止运行的情况。 他表示“停止运行的问题是无法判定的”，他说迄今为止还没有已知的算法能够在任何程序的任何时间点告诉我们该程序是否陷入了死循环，而且数学上已经证明了 这一点。Drummond自己的公司通过人工的方式检索其索引并标明是否有可能简化这个复杂的问题，同时判断一个网络程序是否向另外的程序发起了数据请 求。也许，这正是Google现在在做的事情。

        另一位同Google接近的搜索引擎人士也认同Drummond关于理解js代码复杂性的看法。他认为用一个程序去分析另一个程序是很困难的事情，执行js代码几乎是现阶段能够做到的极限了。

        而Google在六月发布的改进版搜索算法（即Caffeine）似乎开始能够理解部分js代码了。如果这是真的，那么Google的工程师已经教会了其爬虫如何执行部分js代码。这真是一大突破！

       cnBeta.com编译自Forbes

--EOF--

额。这样就比较有意思了。。JS也能够被解析？确实有点恐怖，未来会怎么样？真的是象浏览器一样的访问吗？他们也会兼容所有的浏览器吗？会。。。模拟登录吗？这才是我关心的，会识别验证码吗？

在用netbeans的时候，最让人郁闷的是，他不能指定某一个目录下的文件的编码，这时候象处理康盛的玩意就很痛苦了。
康盛在最近的系统版本里，所有的文件都是ansi格式的（可以采用GBK编码打开），他所有的对UTF8支持和对BIG等的支持，全部通过语言包+charset来处理。

因此，在用netbeans的时候，打开language目录就全是乱码了。因为格式不再是ansi而是utf-8或者big5，郁闷啊。

以前是用PHP遍历目录解决，还好jdk里面有一个程序叫做native2ascii，可以很方便的解决这些。

在做Java开发的时候，常常会出现一些乱码，或者无法正确识别或读取的文件， 比 如常见的validator验证用的消息资源（properties）文件就需要进行Unicode重新编码。原因是java默认的编码方式为 Unicode，而我们的计算机系统编码常常是GBK等编码。需要将系统的编码转换为java正确识别的编码问题就解决了。

这是一篇比较老的文章，其实从情感上来说，我更愿意推荐手册上的介绍，但事实上，在一些PHP群中，有些朋友在问的时候，他们总是想不到翻手册的。嗯，英文的手册确实让人不太舒服，但，不可能在手册一出来就帮你翻译好的吧？事事都去期待别人，还不如把英文好好看看，再者，手册上的英文真的很简单的。
我不知道你们的手册是怎么样的，版本多少，但是我在我的手册里是有这么一个章节：

一共讲了5种情况，而且对于不能上传大文件也专门做了介绍，他是这么说的：

PHP is capable of receiving file uploads from any RFC-1867 compliant browser (which includes Netscape Navigator 3 or later, Microsoft Internet Explorer 3 with a patch from Microsoft, or later without a patch).

PHP also supports PUT-method file uploads as used by Netscape Composer and W3C's Amaya clients. See the PUT Method Support for more details.

OK，我知道你们不愿意看，所以我也不多说了，看中文版吧，原文来自于：http://www.sourcejoy.com/php_dev/PHP_upload.html。
PHP文件上传功能一般都是大家使用事先封装好的函数，要用的时候直接使用已封装的函数就完了，但有时候不能使用封装函数，还真不大能记住PHP的上传相关的东西，在此做个总结，以备后用。

1.表单部分
允许用户上传文件，在HTML表单的声明中要加上一个上传的属性：
enctype = 'multipart/form-data'
表单的method必须是POST
表单选项MAX_FILE_SIZE隐藏域用于限制上传文件大小，它必须放在文件表单元素前面，单位为字节。
如：
<form enctype='multipart/form-data' id='aa' name='aaa' method='post' action='xxx.php'>
<input type='hidden' name='MAX_FILE_SIZE' value='2621114' />
<input name='upload_file' type='file' />
</form>

2.处理上传文件
上传时，PHP收到关于该文件的信息数组，这些信息可以在$_FILES这个超级全局数组中找到。
如：如果表单中的文件输入框名字为upload_file，那么关于该文件的所有信息都包含在数组$_FILES['upload_file']里面。
如：客户上传了一个“aaa.jpg”的图片数组值如下：
name "p5pp.jpg" 上传时文件的名字
type “image/jpeg" 文件类型
tmp_name "/tmp/phpjksdf" 服务器端的临时文件名
error 上传错误的返回值
size 2045 文件实际大小

上面数组里面的error会返回不同的常量值，如下:
UPLOAD_ERR_OK 没有错误发生，文件上传成功
UPLOAD_ERR_INI_SIZE 文件大小超过了PHP.INI中upload_max_filesize选项限制的值
UPLOAD_ERR_FORM_SIZE 上传文件的大小超过了HTML表单中MAX_FILE_SIZE选项值。可在程序中检查表单$FILES ['up_file']['size']来处理
UPLOAD_ERR_PARTIAL 文件只有部分被上传
UPLOAD_ERR_NO_FILE 用户没有提供任何文件上传
上传后处理的具体例子：
if(!move_uploaded_file($_FILES['f']['tmp_name'],"uploads/".$_FILES['f']['name'].".jpg")){
echo "error";
}

函数：
move_uploaded_file 移动上传的临时文件到指定的目录下
例子：
move_uploaded_file('临时文件名','指定文件路径')

is_uploaded_file 判断是否是通过http Post上传的文件
例子:
if(!is_uploaded_file($_FILES['f']['tmp_name'])){
echo '非法';
}

3.相关参数
PHP上传设计到的php.ini中的参数：
file_uploads 是否允许上传文件，默认ON

upload_tmp_dir 上传文件防止的临时目录，未指定则使用系统默认位置

upload_max_filesize 允许上传文件的大小的最大值，默认为2M

post_max_size 控制采用POST方法进行一次表单提交中PHP所能接受的最大数据量，如果希望用PHP文件上传，则此值要改为比upload_max_filesize要大

max_input_time 以秒为单位对通过POST/GET/PUT方式接受数据时间进行限制。

memory_limit 为了避免正在运行的脚本大量使用系统内存，PHP允许定义内存使用限额。通过设置此参数来制定单个脚本程序可以使用的最大内存容量，应适当大于post_max_size值

max_execution_time 用来设置在强制终止脚本前PHP等待脚本执行完毕的时间，单位秒。次选项可限制死循环脚本，但当存在一个长时间的合法活动时（如：上传大文件），这项功能也会导致操作失败。这样情况下必须考虑将此变量增加。

4.考虑多文件上传
可以利用$_FILES数组就可以轻松实现多文件上传。$_FILES数组可以获取客户端表单里面所有的file域内容，从而获得所有在同一表单上传的文件。

5.突破上传的内存限制
方法一：
修改php.ini中memory_limit值，改为更大，如 64M
方法二：
使用Apache Rewrite方法，动态修改memory_limit的值。首先建立一个.htaccess文件，保存在上传文件程序的 当前目录即可.代码如下：
php_value memory_limit 100M
php_value post_max_size 30M
php_value upload_max_filesize 30M
php_value max_execution_time 300
php_value max_input_tim 300
php_value display_errors On
——EOF——
当然，如果你在这种下也还是看不懂不能理解的话，我也就没有话说喽。

看到一篇文章，是这样说的：

上面三种都可以转成int，但是math.round会四舍五入。

hooks这玩意，一向是被认为是可扩展的代名词，当一个系统启动了hooks后，他就变得可扩展了，同样，他的性能也就需要被众人拿出来做比较了。
目前被很多人拿来做比较的是两款程序：drupal和wordpress，是使用量最大的博客程序之一，在很多人眼里，这两个程序已经脱离了博客，而是CMS了。drupal前后台不分是我最不舒服的地方，所以wordpress才是我的首选。或许大家看到我的TAG里面还有ThinkPHP和QeePHP，那是因为这两个框架都在考虑有行为加入，行为嘛，相对于框架，就当于一个hooks，所以我也加上了这两个框架
thinkphp的Add_filter,add_action和wordpress有点相像 ，而qee因为没有仔细看过，所以不太清楚（flea的时候好象没这个功能）

跑题半天了。上文了

      Drupal怎么就知道什么时候调用一个模块来处理特定的请求？

      这个是通过Drupal的hook机制完成的，下面解释一下hook的工作机制。

      当Drupal处理来自用户的一个请求，它通过一系列步骤进行。比如：Drupal核心首先引导这个应用，确定关键变量和经常使用的功能。接下来，它加载 关键库、主题和模块。接下来，它继续处理请求，将请求的URI映射到正确的处理代码，等等。然后它为数据应用一个主题，为输出来格式化信息。最后它返回输 出结果到用户的浏览器。

      在循序渐进的预定义时刻，Drupal进行勾取。这意味着什么呢？简短的说，它意味着Drupal测试部分或全部当前启用的模块，寻找遵循特定的预定义模 块的函数。一些已经连接这个进程到“回调”的模式经常被用在事件处理模块中。Drupal和这个是类似的，但是更加充满活力。

      比如说，当它正在创建一个页面浏览内容时，Drupal可能再模块中寻找叫做<modulename>_block() 和<modulename>_view()的函数（在这里<modulename>被每个Drupal检测的模块的名称代替）。 寻找模块包含的这些函数被叫做实施hook_block()和hook_view()勾取。

      当Drupal找到这些函数，它执行它们，并且利用这些函数返回的数据创建一个响应来发送给用户。然后Drupal继续循序渐进的处理请求，或许在它进行 过程中执行许多其它的钩子。

      当所有的步骤完成并且一个响应发送给用户，Drupal自动清除并且推出。

      模块可以定义自己的钩子，这些钩子又可以被其他模块使用。这样一来，hook机制可以扩展到提供复杂的定制行为。

      当一个模块提供匹配一个钩子的签名的功能，我们就说那个模块执行那个钩子。比如，假设Drupal有一个叫做hook_example()的钩子。如果我 们定义一个叫做 mymodule 并且包含一个叫做 mymodule_example() 函数的模块，我们就会用到 hook_example().

      Hook对于面向对象程序员的启示：

      那些对面向对象编程熟悉的程序员可能发现在面向对象语言中考虑将钩子作为一个类似于接口方法或者抽象方法的机制是很有用的。钩子是Drupal将寻找的函 数并在某些情况下需要出现在你的模块中。就像接口方式，一个钩子的函数签名必须匹配Drupal的预期签名。而和接口不同的是，模块开发者可以选择（在一 定程度上）哪个钩子去实现、哪个钩子去忽视。Drupal不要求每个定义的钩子都实现。

参考：《Learning Drupal 6 Module Development》

原文来自：http://www.cnblogs.com/stylesheet/archive/2010/04/16/1713512.html，上次我也写过wordpress的hooks，其实原理都差不多。