一在线爬虫, 可以在 web 添加目标地址, 然后调用 java 去干活。 现在有个问题就是, 如果同一时间, 提交好几个网址, 那么服务器就极其缓慢并且有挂掉几率。 所以 有什么思路, 可以把提交做成一个队列, 一个一个的去调用 java 呢?
1
zonghua 2016 年 1 月 21 日 via iPhone
一个个访问,就没有并发了啊
|
2
Ouyangan 2016 年 1 月 21 日
塞到队列去吧
|
3
SoloCompany 2016 年 1 月 21 日
连个 Thread Pool 都没有的也能叫爬虫?
|