klxq15
V2EX  ›  问与答

在公网上部署分布式爬虫,安全方面要有哪些考量?

  •  
  •   klxq15 · Jun 17, 2017 via Android · 2665 views
    This topic created in 3296 days ago, the information mentioned may be changed or developed.
    比如使用 json rpc 的话,远程连接的授权验证,防注入,放炸弹等等,要怎么搞
    4 replies    2017-06-17 17:24:59 +08:00
    klxq15
        1
    klxq15  
    OP
       Jun 17, 2017 via Android
    防炸弹
    bazingaterry
        2
    bazingaterry  
       Jun 17, 2017 via iPhone
    iptables 限制一下 input 的 IP ?
    gouchaoer
        3
    gouchaoer  
       Jun 17, 2017 via Android
    爬虫不需要有公网 ip,所以安全上没啥需要注意的。。。。但是你调度系统不知道用的啥需要有公网 ip,但是爬虫分布式又需要爬虫验证,我的策略是用一个命令收到限制的 redis 代理
    vileer
        4
    vileer  
       Jun 17, 2017
    参考新网络安全法,如果是与用户隐私有关数据,单服务器不能超过判刑上限
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2706 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 12:06 · PVG 20:06 · LAX 05:06 · JFK 08:06
    ♥ Do have faith in what you're doing.