易栈网-膘叔（Neatstudio.COM）

易栈网-膘叔

利用 goquery 来取数据

phpQuery的一个小疑问。

转：phpQuery占用过多内存的解决方法

笔记：removeAttr

phpQuery

日志分类

热门标签

日志归档

搜索文章

最新评论

博客信息

友情链接

早期抓取数据都是偷懒用phpquery。用起来真心方便啊。刷刷刷的数据就取回来了。毕竟phpQuery还是相当模拟了jQuery的操作的。但现在在用go。怎么办？

其实go也有类似的工具，比如goquery，但使用起来确实不如phpQuery方便。举个小例子说明一下吧：

获取li数据中的第二个数据，那么jquery一般是这样写：$('li:eq(1)')，phpQuery呢。基本上也这样。pq('li:eq(1)')，但到了goquery就不能这样写了。我开始这样写的时候一直取不到数据。后来才发现。。原来goquery必须得这样写：doc.Find("li").Eq(1)。虽然phpquery等也有类似方法，但如果放在Find里面不就好了嘛。真是的

OK写个简单的例子。。

XML/HTML代码

var doc * goquery.Document
var e error
if doc, e = goquery.NewDocument(PROXY_FOREIGN_PAGE_URL); e != nil {
ConsoleLog(e)
return ;
}
doc.Find("tr ").Each(func(i int, ss * goquery.Selection) {
s := *ss.Find("td");
if s.Length() == 6 {
port , _ := strconv.Atoi(s.Eq(1).Text());
if port > 1 {
var pInfo ProxyInfo
pInfo.Ip = IpString(s.Eq(0).Text());
pInfo.Port = PortString(s.Eq(1).Text());
ProxyInfoLists = append(ProxyInfoLists , pInfo);
}
}
})

goquery的项目地址是：github.com/PuerkitoBio/goquery

最近在使用phpQuery处理xml的时候发生了一点小问题。由于xml还算是比较规范，但我又不想用simplexml_load_string，所以就偷懒用phpQuery处理了。
但在处理的时候发现一个问题，比如我要处理的内容是：

XML/HTML代码

<title>揭秘日本巨型OLED地球仪：实时显示地球变化</title>
<link>http://news.dili360.com/gclw/xxjs/2012/0312/32136.shtml</link>
<description><a href='http://news.dili360.com/gclw/xxjs/2012/0312/32136.shtml'><img src='http://image.dili360.com/news/gclw/xxjs/2012/0312/36_5132136203_20120312094816.jpg' style='border: 1px solid #000000;'/></a> 　　新浪科技讯北京时间3月12日消息，据国外媒体报道，如果你前往日本东京，别忘了去参观一下“未来科学馆”(Miraikan)，这里展示着一些最尖端的技术成就。就在去年年中，这里揭幕了全世界首个大型OLED显示屏，直径超过19英尺(约合5.8米)。尽管名叫“Geo-Cosmos”，但这并非一般的地球仪，它几乎能实时显示我们这颗星球上正在发生的一切！全球各地的科学家和研究机构将数据发送给Geo-Cosmos，后者将其呈现给观众。　　这..</description>
<category>中国国家地理网地理资讯频道</category>
<author>dili360.com</author>
<pubdate>2012-03-12 09:48:16</pubdate>

请看加红的那一段。
当我用phpQuery处理完后，发现，右边的</link>不见了。其他元素都正常。我的心一下子就碎了。
开始以为页面有问题，但怎么处理都是这样，最终只能将link换成了url来进行处理。说实话，心是哇凉哇凉的。。

但是，同事在win下面就没有这个问题，我在ubuntu下就有这个问题。（我现在不知道是否我的PHP版本有问题，还是平台的问题，也没有心思深究了）【同事是5.3.9，我是5.3.6】，

事实上，看到这篇文章的时候，我早就已经解决这个问题了。目前我也是这么做的，只是我是设置phpQuery::$documents = null而已，和他不太一样。
但本文做了一点分析，所以我还是正常的贴一下吧。

phpQuery是一个用php实现的类似jQuery的开源项目，可以在服务器端以jQuery的语法形式解析网页元素。相对于正则或其它方式匹配网页方式，phpQuery使用起来要方便的多。

在使用phpQuery采集网页时，遇到一个问题：在处理大量网页之后，phpQuery占用的内存数量非常惊人（很快就超过了1G)，

比如这段代码：

    
            while (true) {
        
                phpQuery::newDocumentFile($htmlFile);
        
                // 处理网页元素...
        
                echo memory_get_usage() . "\n";
        
            }

谨慎运行上面这段代码，它会很快用光你的内存。

经过查看phpQuery的源代码终于发现了问题所在，phpQuery在每处理一个网页就会产生一个DOMDocumentWrapper 对象，而每个DOMDocumentWrapper 对象会被保存在静态成员$documents中（phpQuery::createDocumentWrapper中），这个变量是一个数组，每解析一个网页数组元素就增加一个。

phpQuery::$documents[$wrapper->id] = $wrapper;

找到问题后，解决就很容易了，每次解析完一个网页，把phpQuery::$documents置空即可。

    
            while (true) {
        
                phpQuery::newDocumentFile($htmlFile);
        
                // 处理网页元素...
        
                phpQuery::$documents = array();
        
                echo memory_get_usage() . "\n";
        
            }

内存占用稳定了。

----
原文来自：http://www.linuxsong.org/2011/01/phpquery-memory-leak/
其实出现上面的问题很正常，大多数人在用pq的时候都是在不停的抓取和采集，一般在命令行下面，这时候都不会想到释放内存，而平时网页的话，一个页面结束后，这些内存都还是会自动释放掉一点。如果不是狠狠抓数据的人，是不会遇到这种问题的啦。

这个标题我扔到PHP分类下当然是有原因的。。
因为我最近在尝试用phpQuery来分析数据，但这些数据最终的样式都和我真正想要的还是有点区别，所以我要去除其中的样式，还要删除空标签，但:empty标签删除的太厉害了。不太敢用
所以我还是用正则来删除一级的标签。

除了空标签还有这些带样式的，我开始是用pq("xxx")->css("");来设置空标签，但总觉得不爽，因为这样会生成<p style="">这种多余的内容。
找了一点资料，其实jQuery的removeAttr就可以有这个功能啦。于是乎，pq("xxx")->removeAttr("style")，就解决了

做个笔记

想分析网页？不会写正则？这。。。一切都不是问题

在以前是不可想象的。但如今google的项目里有这个phpQuery，它可以让一切变得可能。。。

phpQuery is a server-side, chainable, CSS3 selector driven Document Object Model (DOM) API based on jQuery JavaScript Library.

Library is written in PHP5 and provides additional Command Line Interface (CLI).

如果你使用过jQuery，你会发现这一切是如此的相象。

PHP代码

<?php
include_once( './phpQuery.php' );
$html = new phpQueryDocumentFile('xxx.html');
$title = $html->find('title')->text();
echo $title;

以上内容是取得网页的 title。多方便啊。。。

如果是取得某个class的内容呢？

PHP代码

<?php
//...include
//...new phpQueryDocument
$html->find('div.test eq(1)')->html();
//表示取得div的class为test的，第一个匹配的元素中html内容

呵呵，快去：http://code.google.com/p/phpquery/下载吧

« 2024年11月 »