Home Sign Up Sign In
qwertty01
V2EX  ›  问与答

Selenium 爬虫被检测到怎么办？使用的是 ChromeDriver

  •   
  •   qwertty01 · Nov 21, 2017 · 6560 views
    This topic created in 3139 days ago, the information mentioned may be changed or developed.

    使用普通的浏览器可以正常访问，使用 Selenium 会触发防爬机制。

  • Selenium
  • 使用
  • 触发
  • 浏览器
    5 replies  •  2017-11-21 15:57:49 +08:00
    qwertty01
        1
    qwertty01  
    OP
       Nov 21, 2017
    在线等。#-#
    p2pCoder
        2
    p2pCoder  
       Nov 21, 2017
    反爬 这东西 很复杂的，selenium 触发反爬，可能是 请求速度太快
    qwertty01
        3
    qwertty01  
    OP
       Nov 21, 2017
    @p2pCoder 我是这样操作的，使用程序通过 ChromeDriver 打开浏览器，然后自己手动输入网址访问，依然触发了防爬机制。
    rootsir
        4
    rootsir  
       Nov 21, 2017
    抓包呗，看正常浏览器和爬虫提交的 报文头区别在哪里
    p2pCoder
        5
    p2pCoder  
       Nov 21, 2017
    @qwertty01 可设置 的参数太多，我也不清楚，你最好看一下 访问的 url 链，首先确定是哪个 url，哪个页面，然后再确定哪个参数出问题
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   894 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 19:53 · PVG 03:53 · LAX 12:53 · JFK 15:53
    ♥ Do have faith in what you're doing.