Home Sign Up Sign In
DataPacket
CDN77
Advertisement
blueclothes
V2EX  ›  编程

写爬虫这种事情真是一件体力活啊

  •   
  •   blueclothes · Nov 22, 2017 · 4220 views
    This topic created in 3123 days ago, the information mentioned may be changed or developed.

    各种奇葩的情况需要考虑。 很多看起来很平常的页面，要抓下来也不容易。 比如，今天就遇到某些网站，居然把 HTML 放在<script>标签中。然后又加了几个 if else 才把内容给提出来。

  • 爬虫
  • else
  • script
  • HTML
    3 replies  •  2017-12-08 09:26:52 +08:00
    marknote
        1
    marknote  
       Nov 22, 2017
    编程就是个体力活 :)
    gamexg
        2
    gamexg  
       Nov 22, 2017
    碰到灰度测试更烦人。
    lddsb
        3
    lddsb  
       Dec 8, 2017
    有爬虫就有反爬虫啊。。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3284 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 11:38 · PVG 19:38 · LAX 04:38 · JFK 07:38
    ♥ Do have faith in what you're doing.