易栈网-膘叔

在网上看到一个贴子，是说利用16进制输出所有中文，例子如下：

看到这个例子，相信也能看得出了，那两个数字是不是与网上那种正则判断中文的很象啊。

由于json_encode转换中文时会把中文全部转换成16进制，这样在输出的时候就不会因为浏览器的字符集不支持而出现问题。所以同样的，利用decode也就相当于把这些16进制转换成中文了。其实并不需要这么复杂，只要在前面加上&#后面加上;就可以输出中文了。

看到这样的代码后想起昨天一个根据.net程序改的读取中文字的拼音的程序。

不过，这些都算是我的备份吧。呵呵，同样，如果对拼音要求不高的朋友也可以拿来用用。

phpChina虽然我不是很喜欢，因为论坛里的斗争搞得象国外的党派斗争一样，几乎沦为口水娃了。

但是，他上面的专题还是很不错的。

专题网址如下：http://www.phpchina.com/html/thematic.html

打开任意一个专题，右侧都有专题列表，我复制过来了。希望对大家有用吧。。（其实是对自己有用）

• 第1期：新手搭建环境篇
• 第2期：网站基础建设篇HTML
• 第3期：CSS基础技术讲解篇
• 第4期：JavaSpcrip技术讲解
• 第5期：PHP开发环境ZEND专题
• 第6期：PHP新手入门专题
• 第7期：PHP和MYSQL基础教程
• 第8期：MySQL技巧与应用篇
• 第9期：APACHE基础篇
• 第10期：PHP留言本实例讲解
• 第11期：PHP5 Web开发详解基础篇
• 第12期：PHP5 Web开发详解应用篇
• 第13期：PHP+Ajax Web开发基础篇
• 第14期：PHP+Ajax Web开发应用篇
• 第15期：正则表达式的技术应用
• 第16期：PHP+XML基础
• 第17期：PHP+XML的技术应用
• 第18期：PHP邮件技术专题
• 第19期：Pear基础
• 第20期：Pear应用
• 第21期：PHP专题
• 第22期：聊天室
• 第23期：PHP变量处理专题
• 第24期：字符串处理专题
• 第25期：函数使用专题
• 第26期：文件与目录处理
• 第27期：动态图象处理
• 第28期：Zend Studio For Eclipse 6.0
• 第29期：FCKeditor&PHP基础开发及应...
• 第30期：FCKeditor&PHP实战指南

在使用swfupload上传文件的时候，老是绕不过登录验证。查了一下GOOGLe，没查到，问了百度，他告诉我答案：

swfuplaod在上传时，会新开一个进程，和原来的进程不一致，要解决这个问题，需要指定session_id，然后在登录页面判断，如果有post过来的session_id，那么就用函数session_id( $_POST['PHP_SESSIONID'])指定一下。

上传页的JS里面，可以获取当前的SESSION_ID的。

例如上传页的JS中：

post_params: {"PHPSESSID": "<?php echo session_id(); ?>"},

在验证的判断页中：

        if (isset($_POST["PHPSESSID"])) {
            session_id($_POST["PHPSESSID"]);
        }

（这一段是网上的注释：在带有Session验证的网站后台中SWFUpload无法正常工作，这是因为SWFUpload在上传时相当于重新开辟了一个新的Session 进程，因此无法与原有程序的Session保持一致，这就需要在上传时传递原有程序的SessionID，根据它来“找回”其应有的Session。）

手册里也有，只是是英文版的，看到有中文的，就复制回来，做备份了。

下面列出了当前在 PCRE 中可能使用的修正符。括号中是这些修正符的内部 PCRE 名。修正符中的空格和换行被忽略，其它字符会导致错误。

    i (PCRE_CASELESS)
        如果设定此修正符，模式中的字符将同时匹配大小写字母。

    m（PCRE_MULTILINE）
        默认情况下，PCRE 将目标字符串作为单一的一“行”字符所组成的（甚至其中包含有换行符也是如此）。“行起始”元字符（^）仅仅匹配字符串的起始，“行结束”元字符（$）仅仅匹配字符串的结束，或者最后一个字符是换行符时其前面（除非设定了 D 修正符）。这和 Perl 是一样的。

        当设定了此修正符，“行起始”和“行结束”除了匹配整个字符串开头和结束外，还分别匹配其中的换行符的之后和之前。这和 Perl 的 /m 修正符是等效的。如果目标字符串中没有“\n”字符或者模式中没有 ^ 或 $，则设定此修正符没有任何效果。

    s（PCRE_DOTALL）
        如果设定了此修正符，模式中的圆点元字符（.）匹配所有的字符，包括换行符。没有此设定的话，则不包括换行符。这和 Perl 的 /s 修正符是等效的。排除字符类例如 [^a] 总是匹配换行符的，无论是否设定了此修正符。

    x（PCRE_EXTENDED）
        如果设定了此修正符，模式中的空白字符除了被转义的或在字符类中的以外完全被忽略，在未转义的字符类之外的 # 以及下一个换行符之间的所有字符，包括两头，也都被忽略。这和 Perl 的 /x 修正符是等效的，使得可以在复杂的模式中加入注释。然而注意，这仅适用于数据字符。空白字符可能永远不会出现于模式中的特殊字符序列，例如引入条件子模式的序列 (?( 中间。

    e       如果设定了此修正符，preg_replace() 在替换字符串中对逆向引用作正常的替换，将其作为 PHP 代码求值，并用其结果来替换所搜索的字符串。

        只有 preg_replace() 使用此修正符，其它 PCRE 函数将忽略之。

            注意: 本修正符在 PHP3 中不可用。

    A（PCRE_ANCHORED）
        如果设定了此修正符，模式被强制为“anchored”，即强制仅从目标字符串的开头开始匹配。此效果也可以通过适当的模式本身来实现（在 Perl 中实现的唯一方法）。

    D（PCRE_DOLLAR_ENDONLY）
        如果设定了此修正符，模式中的美元元字符仅匹配目标字符串的结尾。没有此选项时，如果最后一个字符是换行符的话，美元符号也会匹配此字符之前（但不会匹配任何其它换行符之前）。如果设定了 m 修正符则忽略此选项。Perl 中没有与其等价的修正符。

    S        当一个模式将被使用若干次时，为加速匹配起见值得先对其进行分析。如果设定了此修正符则会进行额外的分析。目前，分析一个模式仅对没有单一固定起始字符的 non-anchored 模式有用。

    U（PCRE_UNGREEDY）
        本修正符反转了匹配数量的值使其不是默认的重复，而变成在后面跟上“?”才变得重复。这和 Perl 不兼容。也可以通过在模式之中设定 (?U) 修正符或者在数量符之后跟一个问号（如 .*?）来启用此选项。

    X（PCRE_EXTRA）
        此 修正符启用了一个 PCRE 中与 Perl 不兼容的额外功能。模式中的任何反斜线后面跟上一个没有特殊意义的字母导致一个错误，从而保留此组合以备将 来扩充。默认情况下，和 Perl 一样，一个反斜线后面跟一个没有特殊意义的字母被当成该字母本身。当前没有其它特性受此修正符控制。

    u（PCRE_UTF8）
        此修正符启用了一个 PCRE 中与 Perl 不兼容的额外功能。模式字符串被当成 UTF-8。本修正符在 Unix 下自 PHP 4.1.0 起可用，在 win32 下自 PHP 4.2.3 起可用。自 PHP 4.3.5 起开始检查模式的 UTF-8 合法性。

突然怀念起几年前，walkerlee、hihiyou、我还在为了NC进行打拼，也曾为了某个正则几乎通宵不睡在测试。其实在NC前已经有过多款的采集软件，但其实都是属于功能单一情况，如：开花石头的逆向小偷等。NC只是一款整合了一起功能的采集软件，也算是开创了先河吧？反正自那以后，采集程序越来越多，先是剑枫，然后是小蜜蜂，再后来是火车头，采集软件越来越多之后，随之而来的就是性能问题，采用WEB方式的采集，不可避免的就是性能。你没有办法控制一个WEB页面不会超时，而且PHP由于自身的执行方式，也就不可能是多线程执行，后来大多数人，采用了iframe的方式，让一个页面打开十个左右的iframe然后根据执程的ID来进行判断。

过去的事情，总是让人怀念，在看到这个作者写类似的采集时，感慨的同时，留一份备份，以作纪念

原文：http://www.cnblogs.com/hongyin163/archive/2009/02/11/1388615.html
内容：

最近公司需要开发一个简历导入功能，类似博客搬家或者邮箱搬家，之前抓取信息是利用火车采集器，但是简历导入功能需要用户登陆以后才能获取简历数据，无奈只好自己开发了。

首先是遇到的问题是：如何实现模拟登陆？

我们知道一般的网站都是通过Cookies来维护状态的，我抓的网站也是支持利用Cookies来验证用户的，构造一个post数据包，向服务器提 交数据，在配置火车采集器的时候，也是要先利用WSockExpert.exe工具获得Post数据包，之后修改用户名和密码，向服务器提交的。

提交了登陆数据后还没完成登陆，虽然服务器会返回登陆后的页面数据，但是如果在进入其他的链接页面，还是不允许的，因为服务器每次都需要通过你提交 过去Cookies来验证你是否登陆，在asp.net里，利用Cookies存储身份验证票证，每次都需要向服务器提交的，初学asp.net总是弄不 明它的form验证机制，它封装了太多信息，虽然用几行代码就能实现验证，后来看了些web开发基础知识才弄明白，在这个你需要保存上次登陆后返回的 Cookies，在下次有其他请求时带上这个Cookies就可以了，怎么带上呢？下面是我在.net里的实现，很简单！

利用HttpWebRequest类的CookieContainer来保存，这个CookieContainer会保存服务器回传的 Cookies，但是前提是你在初始化HttpWebRequest的时候，记得实例化这个CookieContainer，一般的请求不需要实例它的， 简单的代码如下：

 httpWebRequest = (HttpWebRequest)HttpWebRequest.Create(URL);            
  httpWebRequest.CookieContainer = new CookieContainer();
  httpWebRequest.ContentType = "application/x-www-form-urlencoded";
 httpWebRequest.Method = "POST"

 为了能全局使用这个CookieContainer ，你可以把它作为全局变量，这样在下次request的时候将其赋给CookieContainer 属性就行了。

详细了解CookieContainer 见：http://msdn.microsoft.com/zh-cn/vstudio/system.net.cookiecontainer(VS.80).aspx

维护了这个CookieContainer 后，我们就可以访问登陆后的页面了，模拟登陆问题解决。

其次遇到的问题自然是：如果从网页上获得想要的信息？

 要在网页抓取信息，实现起来最简单，同时也是最繁琐的方法，那就是模板方法获取了，从火车采集器的配置过程看出来，它也就是用这种方法而已，不过 人家能把抓取器做成成熟的产品，并且热卖，这个比不了，所以成功与否不完全取决于技术，火车采集器虽然配置起来挺繁琐，但是用起来还不错。

用这种方式你需要做个一个模板，你需要知道目标网页的结构，知道要找的信息在什么地方，之后记录在它的前面和后面的字符串，你可以利用截取字符串的 方式获得目标信息，也可以利用正则标式获得，要保证前面和后面的字符串是唯一的，很简单，计算一下，或者匹配一下就可以获得目标信息，但是实际做起来还是 会遇到一些问题：

下面是我遇到问题;

1.首先我是想利用正则表达式匹配，但是模块里设置的前缀和后缀里有回车换行\r\n,结果总是匹配不成功，我正则的功底很差，最后知道怎么回事了，把\r\n替换成(\s*)，问题解决，您可以想出为什么了吧？

2.利用字符串截取方式获取，在正则还不是很精通，用这种方式最保险了，但是在截取字符串前记得调整下目标页代码，从xml配置文件里读取的前缀和 后缀中可能有回车和换行，但是回车换行在不同系统里字符表现是不一样的，Windows里是\r\n,Linux里是\n，所以要记得统一。

3.前后缀不唯一，有时在页面里有两个不同的目标信息，但却有相同的前缀，比如：

<td width="25%" class="ResTbLfPd">数据库</td>
<td width="25%" class="ResTbLfPd">软件工程师</td>

如果用相同的前缀就比较难截到想要的信息了，我想了个办法，当然方法可能比较笨，但是问题解决了，也是火车给我的启示，利用多个字符串定位目标信息，比如我想抓去 软件工程师 ，前缀就是：

<td width="25%" class="ResTbLfPd">*</td>
<td width="25%" class="ResTbLfPd">

在信息可能不同的地方用*代替，类似通配符，这样利用*将一个字符串切割为两个，先找到第一个，之后以这个索引位置为起点，再找第二个字符串，这样就可以定位到最终的信息了，同样可以用多个字符串三个或更多，这样实现是解决了问题，希望有更好的方式，希望以后会改进。

4.在抓取信息的时候还可以利用MITHtmlPparser，这是一个开源的类库，在codeproject找搜到的，将网页内的所以标签都分析出来，如果获取信息不是很多、很碎的话，用这个也比较好用，只需知道那个最终要得到信息在那个标签里，然后直接取出就行了。

好了，希望在新的一年里能学到更多，能经得住考验！