哪位爬虫大仙玩过从试过从淘宝店铺爬商品？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 4144 天前的主题，其中的信息可能已经有所发展或是发生改变。

商品展示的div是动态生成的，似乎是ajax（？），另外还用了kissy的lazyload。
我试了headless firefox (selenium)，WebDriver，都没成功。

9 条回复 • 2014-12-20 08:46:44 +08:00

zealic

2014 年 12 月 18 日

zealic

2014 年 12 月 18 日

Selenium 最好用 Ghost Driver，和 Caspser.js 的技术原理是一样的

binux

2014 年 12 月 18 日

你会写一个淘宝店铺，你就会爬了。

husinhu

2014 年 12 月 18 日

@zealic 谢谢，这个和phantomjs啥区别，你试过吗

husinhu

2014 年 12 月 18 日

@binux 用过大神的pyspider，没搞过淘宝店铺！

scarlex

2014 年 12 月 18 日

@husinhu 那个是封装过的 phantomjs，简单一点

icedx

2014 年 12 月 18 日

刚看来下淘宝居然用了webp

YAFEIML

2014 年 12 月 19 日

@zealic 头像好帅，求一个呗

zealic

2014 年 12 月 20 日

@YAFEIML DOTA 的蓝猫歪脖子头像，当时貌似是在微博找到的。