V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
TKKONE
V2EX  ›  Python

当爬虫遇到防火墙

  •  
  •   TKKONE ·
    PRO
    · Nov 26, 2016 · 4889 views
    This topic created in 3439 days ago, the information mentioned may be changed or developed.

    之前每天定时爬的网站,加上了金盾防火墙,然后首次访问会有,http://www.xxx.com/?jdfwkey=yyyyyy 就是会有 jdfwkey 这个参数。。。不知道大家爬虫有没有遇到这种情况?怎么解决。。。

    23 replies    2016-11-28 09:20:02 +08:00
    TKKONE
        1
    TKKONE  
    OP
    PRO
       Nov 26, 2016
    啊!!!找到办法了!!!没有动手直接问果然不好!!!
    Troevil
        2
    Troevil  
       Nov 26, 2016
    卧槽,我就这么打开了
    czk1997
        3
    czk1997  
       Nov 26, 2016
    @Livid NSFW 以及这车有点快……
    wjm2038
        4
    wjm2038  
       Nov 26, 2016 via Android
    @czk1997 为啥我感觉只是他随便发的网站
    annielong
        5
    annielong  
       Nov 26, 2016
    记得不是一直有 key ,或者和其他网站记混了,反正我是连可以一起抓
    TKKONE
        6
    TKKONE  
    OP
    PRO
       Nov 26, 2016
    ?????
    @czk1997
    随便写的 xxx 能打开???
    TKKONE
        7
    TKKONE  
    OP
    PRO
       Nov 26, 2016
    我曹,还真的能打开!!!我只是作为示例写的网站地址
    wdlth
        8
    wdlth  
       Nov 26, 2016
    @tumbzzc 经典域名,上学时我们学校刚接入 ADSL ,然后某领导为了试试怎么上网就输入了这个域名,然后……
    Arnie97
        9
    Arnie97  
       Nov 26, 2016 via Android
    @wdlth 笑死,居然真能打开
    还是用 example.com 比较稳妥
    czk1997
        10
    czk1997  
       Nov 26, 2016
    @wjm2038 看出来是瞎打的,可惜一不小心玩脱了……
    merrygreek
        11
    merrygreek  
       Nov 26, 2016 via Android
    老司机。
    lixingcong
        12
    lixingcong  
       Nov 26, 2016 via Android
    钓鱼贴 活捉老司机
    razrlele
        13
    razrlele  
       Nov 26, 2016
    笑出声
    nadoo
        14
    nadoo  
       Nov 26, 2016
    话说还经常在一些示例里面写 xxx.com ,看样子以后得小心了。。。
    jalena
        15
    jalena  
       Nov 26, 2016
    貌似必须开代理才能打开..
    feather12315
        16
    feather12315  
       Nov 26, 2016 via Android
    笑…
    Chappako
        17
    Chappako  
       Nov 26, 2016
    厉害了
    sunulin
        18
    sunulin  
       Nov 26, 2016 via iPhone
    不小心点开了,,哥别闹可以不😣
    DesignerSkyline
        19
    DesignerSkyline  
       Nov 26, 2016
    所以示例这种网址应该养成习惯,用 www.example.com
    hard2reg
        20
    hard2reg  
       Nov 26, 2016
    @tumbzzc 我曹打开了居然!
    billie
        21
    billie  
       Nov 26, 2016 via Android
    😂😂
    jy02201949
        22
    jy02201949  
       Nov 27, 2016 via iPhone
    然后到底是什么网站谁告诉我一下手机打不开
    eggacher
        23
    eggacher  
       Nov 28, 2016
    33333333
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1152 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 65ms · UTC 23:16 · PVG 07:16 · LAX 16:16 · JFK 19:16
    ♥ Do have faith in what you're doing.