请教一下 Python 爬虫问题

This topic created in 2733 days ago, the information mentioned may be changed or developed.

目前是先爬列表页，然后取出各个详情页的 id 放到一个 queue 中，另外开几个线程从 queue 中取 id 爬数据。
但是，爬取详情数据的时候会出现失败，想把失败的 id 重新放入 queue 中，但是有一个线程往 queue 中放数据了，这个时候 queue 就一直是满的，导致爬详情数据的线程都挂起了。
有什么好的解决办法吗？

Queue

线程

详情

中放

4 replies • 2018-12-14 17:53:38 +08:00