易栈网-膘叔（Neatstudio.COM）

易栈网-膘叔

crontab 式的多线程

日志分类

热门标签

日志归档

搜索文章

最新评论

博客信息

友情链接

Submitted by gouki on 2012, February 3, 12:33 AM

不要被标题所疑惑，这是一个伪多线程。
其实就是利用Crontab的最小单元（分钟）来实现所谓的多线程。因为PHP本身不支持多线程，只有这样将就着了。
我有500条数据需要更新获取状态，但如果一下子获取500条，也是从1～500的循环，而且由于每次获取数据量都较大，内存容易占满，会导致获取数据大概在300多条时就内存出错，所以利用crontab造了个伪线程。

crontab 每分钟执行一遍程序。
每次执行的时候，计数数+20，同时一次获取20条状态，下一次获取的时候，从21开始，如此类推。
为了防止执行过多，因此，利用ps aux|grep xxxx|wc -l来获取有多少条命令在执行。当超过N时，退出不执行。避免内存消耗过多。

如此，原来500条数据获取，如果正常也需要1小时左右，现在换成这种执行方式，反而快了很多。
记录一下，下次就知道了。PHP果然还是不太适合做一些东西，内存在堆积过多后，再怎么释放也释放不干净啊，我即使ini_set('memory_limit','1024M')也没有用。

下次试试python。python的网络库也不错，而且编码库对字符串转换也非常方便。下次折腾折腾

« 2012年02月 »