新手刚开始学习. https://segmentfault.com/q/1010000008939688 这里有详细描述.谢谢.
1
cosmic Apr 5, 2017
这是反爬策略吧
|
3
sleeperqp Apr 5, 2017
你可以用 chromedrive 试试 如果还是不一样 那就说明确实有反爬的问题~
|
4
zsz Apr 5, 2017 via iPhone
可能是页面异步获取了其他内容,所以直接抓取看不到,其中策略比较多
有问题可以加我们的群问,这样效率更高,这个群是一群工程师组建的面向初学者的 python Linux 学习群( qq 群号: 278529278 ) 非商业性质,拒绝广告,只接收真正想学这方面技术的朋友,交流学习,申请请说明来自 v2ex |
5
we3613040 Apr 5, 2017
好多异步请求
|
6
201341 OP 我也以为是异步,可是禁用 js 后的页面和我获取的页面还是不一样
|
9
googlebot Apr 5, 2017 via Android
javascript ,
|
10
fffflyfish Apr 5, 2017
直接抓现成的 json 包,伪装客户端发包
|
11
killerv Apr 6, 2017
你说的原网页是指的网页源代码还是审查元素?审查元素的代码是经过 js 渲染过的,不一样是很正常的,这个要以网页源代码的为标准,如果网页源代码和爬虫爬的不一样,另说,有可能是防爬。
|