考虑过直接用php来执行系统命令 调用python ... 也考虑过用socket 的办法..但socket的办法总处理不好线程之类的... 大家都用什么办法.比如 一个爬虫程序...web是php写的..通过游览器传递要爬的页面.后端用python来爬后 返回数据给php 在网页端显示出来.. 有没有能实现这种功能的成熟框架
1
pathletboy Oct 10, 2013
如果处理不好socket线程,那就php录入数据后放数据库,python定期从数据库取出(python自己访问数据库或者通过php以http方式)开始任务,爬完写回数据库,php再从数据库里取出显示出来。
|
2
cctvsmg Oct 10, 2013 redis memcache mysql 都行
反正就是把一个要抓取的网址的json数组存了数据库里面去 python抓到的东西也这么存 |
3
xingzhi Oct 10, 2013 http://redis.io/topics/pubsub
消息订阅就好了, php 是发布方,python 作为订阅方,一拿到任务就开始爬。 |
4
andyhuax Oct 10, 2013
用RQ啊
|
5
lupino Oct 10, 2013
o(∩∩)o...哈哈, 可以考率 用 [gearman](http://gearman.org)
|
6
clino Oct 10, 2013
感觉用redis比较合适,数据格式可以用json之类的
|
7
ipconfiger Oct 10, 2013
Redis的订阅发布就好啦,或者python端blpop也行,php端rpush到队列里就行了
|
8
figol Oct 16, 2013
额。不同语言通信 web service 这个比较OK
|