推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
okface
V2EX  ›  Python

论文数据库爬取?

  •  
  •   okface · May 16, 2018 · 3594 views
    This topic created in 2989 days ago, the information mentioned may be changed or developed.
    1.不是知网、万方;
    2.在 tb 上买了一个集成平台的账号,号称几百个数据库论文都可以搜索到,登陆后可以选择你要跳转的数据库,然后这个数据库你就可以任意搜索下载了。想知道这种跳转技术是如何实现的,人家数据库那边不会检测到你是违法账号吗?如果要抓该数据库,直接传个 cookie 就行了?

    ps:招爬虫工程师,联系 [email protected]
    15 replies    2018-05-16 22:16:03 +08:00
    zynlp
        1
    zynlp  
       May 16, 2018 via iPhone
    这是在面试吗?
    ProkillerJ
        2
    ProkillerJ  
       May 16, 2018 via iPhone
    htfy96
        3
    htfy96  
       May 16, 2018 via Android
    2 的话,一般是买了这些数据库的某个学校的校外代理账号泄露了,你连集成平台,集成平台把你的请求通过校外代理发出去。分析过之前买的某家就是利用了兰州大学的校外代理
    okface
        4
    okface  
    OP
       May 16, 2018
    @zynlp 没有那么刻意吧。。当然面试聊这个也可以啊
    okface
        5
    okface  
    OP
       May 16, 2018
    @ProkillerJ 地址打不开。。。被知乎删掉了吧
    omph
        6
    omph  
       May 16, 2018
    偷的合法帐号,就这样
    PythonAnswer
        7
    PythonAnswer  
       May 16, 2018 via iPhone
    小哥就是被捉然后自戕的 注意法律风险
    yu099
        8
    yu099  
       May 16, 2018 via Android
    这个下载一多比如一下子几小时上百篇,直接整个学校论文下载都停掉了。
    学校被这样子搞过
    ProkillerJ
        9
    ProkillerJ  
       May 16, 2018 via iPhone
    复制错了 应该是这个 https://zhuanlan.zhihu.com/p/27609168
    @okface
    seven2016
        10
    seven2016  
       May 16, 2018
    跟 vip 视频解析一个原理呀,肯定是有合法的账户能够看到每个数据库的内容,才能抓下来。然后根据用户的需求构造参数用户合法账户去拿数据返回给用户。
    Leigg
        11
    Leigg  
       May 16, 2018 via Android
    你都没试过,就来问,人家说的是给你搜索,不是给你爬,一个是人,一个是程序
    ioth
        12
    ioth  
       May 16, 2018
    兼职
    alvin666
        13
    alvin666  
       May 16, 2018 via Android
    正规数据库是肯定有反爬机制的,我们学校买的数据库之前就因为下载量太大被封了一些 ip,要是不正规的数据库,谁知道里面的论文哪来的
    xmoiduts
        14
    xmoiduts  
       May 16, 2018 via Android
    触发反爬,直接上门。学校有过翻车经历,题主慎重。
    当年那几个老哥好像下了 7w 篇。
    googlefans
        15
    googlefans  
       May 16, 2018 via iPad
    肯定会被封
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1185 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 56ms · UTC 18:06 · PVG 02:06 · LAX 11:06 · JFK 14:06
    ♥ Do have faith in what you're doing.