V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
klxq15
V2EX  ›  问与答

在公网上部署分布式爬虫,安全方面要有哪些考量?

  •  
  •   klxq15 · Jun 17, 2017 via Android · 2565 views
    This topic created in 3236 days ago, the information mentioned may be changed or developed.
    比如使用 json rpc 的话,远程连接的授权验证,防注入,放炸弹等等,要怎么搞
    4 replies    2017-06-17 17:24:59 +08:00
    klxq15
        1
    klxq15  
    OP
       Jun 17, 2017 via Android
    防炸弹
    bazingaterry
        2
    bazingaterry  
       Jun 17, 2017 via iPhone
    iptables 限制一下 input 的 IP ?
    gouchaoer
        3
    gouchaoer  
       Jun 17, 2017 via Android
    爬虫不需要有公网 ip,所以安全上没啥需要注意的。。。。但是你调度系统不知道用的啥需要有公网 ip,但是爬虫分布式又需要爬虫验证,我的策略是用一个命令收到限制的 redis 代理
    vileer
        4
    vileer  
       Jun 17, 2017
    参考新网络安全法,如果是与用户隐私有关数据,单服务器不能超过判刑上限
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   940 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 20:57 · PVG 04:57 · LAX 13:57 · JFK 16:57
    ♥ Do have faith in what you're doing.