请问下 selenium 调 geckodriver（Firefox）headless 爬网页，很慢啊，基本一秒多一页，有什么办法提高速度吗？

This topic created in 2817 days ago, the information mentioned may be changed or developed.

3 replies • 2018-09-20 14:10:40 +08:00

1

Nostalgiaaaa

Sep 20, 2018

这种从根本上来说就不会快吧。。。试试不加载 js，图片这些？

2

darksand

Sep 20, 2018

不用 selelnium/增加并发 /分布式

3

simonliu2018

Sep 20, 2018

1 楼的思路可以试试，如果 JS 不能禁掉，可以试试把图片，样式表禁掉。

我以前尝试过 scrapy-splash，这个比 selenium 快。