Cadina
V2EX  ›  问与答

防止网站数据被别人抓取,有哪些途径和具体的措施?

  •  
  •   Cadina · Jun 9, 2013 · 7040 views
    This topic created in 4746 days ago, the information mentioned may be changed or developed.
    从豆瓣旅行的事情想到的,有没有实际可行的放抓取方法呢?

    我能想到的几点:

    1.通过UA限制访问,不过UA很容易模拟绕过
    2.在网页内容和结构上做混淆,比如打乱顺序,再通过js调整到顺序正常
    3.从抓取频率上控制,基于Cookie和IP限制访问频率,可以利用Web Server的防攻击策略来做
    4.频繁地,不规律地(不可预测)改变网页结构,增大抓取成本

    因为没做过抓取,不知道是否实际可行,请大家提供建议。
    20 replies    1970-01-01 08:00:00 +08:00
    explon
        1
    explon  
       Jun 9, 2013
    关闭网站别人就抓不到了
    Cadina
        2
    Cadina  
    OP
       Jun 9, 2013
    @explon 额。。只是想从技术上探讨一下,没有其他意思:)
    Zhang
        3
    Zhang  
       Jun 9, 2013
    转换成图片?
    Zhang
        4
    Zhang  
       Jun 9, 2013
    像京东那样!
    lch21
        5
    lch21  
       Jun 9, 2013
    全部用java script 输出内容
    Zhang
        6
    Zhang  
       Jun 9, 2013
    @lch21 那就是像facebook那样咯?
    Cadina
        7
    Cadina  
    OP
       Jun 9, 2013
    @Zhang 图片体验不太好
    Zhang
        8
    Zhang  
       Jun 9, 2013
    @Cadina 那就学facebook的timeline和newsfeed那样吧
    shizhuan
        9
    shizhuan  
       Jun 9, 2013
    藏一些彩蛋,然后用法律武器搞死他!

    参见最近豆瓣旅游爬别人数据被抓的案例...
    y051313
        10
    y051313  
       Jun 9, 2013
    @shizhuan
    个人网站没功夫折腾的。。。

    我网站上的图片和文字被一个香港人拷贝,然后放到ebay上面了,图片上面还有我的水印。我发邮件给ebay,ebay让我给出证据,我说水印不是证据吗?答复说不行,需要公证
    airyland
        11
    airyland  
       Jun 9, 2013
    除了做成图片,写一个chrome插件基本破掉所有的限制。不过,做成图片的话,相当蛋疼吧。
    Cadina
        12
    Cadina  
    OP
       Jun 9, 2013
    @airyland 和chrome插件有什么关系呢,我想讨论的是脚本爬虫抓取
    xingzhi
        13
    xingzhi  
       Jun 9, 2013   ❤️ 1
    robbin的这篇文章总结得很好: http://robbinfan.com/blog/11/anti-crawler-strategy
    tunetoystory
        14
    tunetoystory  
       Jun 9, 2013
    那样SEO就不好咯~
    ejin
        15
    ejin  
       Jun 9, 2013
    全站flash 不解释 什么js都弱爆了
    code4craft
        16
    code4craft  
       Jun 9, 2013
    根本上来说,因为html的特点,没啥好办法,更何况还要照顾搜索引擎爬虫。
    ajax加载只是增加一些爬取的成本,写半小时的代码变成写一小时代码,没啥区别。
    Cookie没啥用,之前还写过一个带自动登录功能的爬虫,去爬人人日志...
    限制IP频率可以拦住一些小站或者个人,算是比较靠谱的办法。
    binux
        17
    binux  
       Jun 9, 2013
    如果认真思考过“信息是什么”就知道——这不可能
    cloudzen
        18
    cloudzen  
       Jun 9, 2013
    只要是给人看的网站就没办法组织别人抓取
    Air_Mu
        19
    Air_Mu  
       Jun 10, 2013
    在footer诅咒采集狗是比较靠谱的办法。
    xhinking
        20
    xhinking  
       Jun 10, 2013
    开放api并规定相关使用条约也许是个不错的选择。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3094 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 81ms · UTC 13:42 · PVG 21:42 · LAX 06:42 · JFK 09:42
    ♥ Do have faith in what you're doing.