大家是怎样爬取亚马逊(美国)的数据？爬取速度怎么样？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3168 days ago, the information mentioned may be changed or developed.

我在爬取亚马逊(美国)详情页时发现反扒虫比较厉害，因此购买了某代理爬取，但每天只能爬取 15w 条 ASIN 的数据。请教各位都是怎样爬取的？爬取速度如何？

爬取

反扒虫

爬

亚马逊

9 replies • 2017-08-24 21:42:37 +08:00

JerryKwan

Aug 24, 2017

@adapalene amazon 的反扒机制是挺有意思的，如果有大量信息要爬取的话，不仅仅需要采用代理，还需要注意代理的使用策略

free9fw

Aug 24, 2017

要注意请求频率和速度，amazon 上有很多 ajax 的数据，可以直接拉取

huangfs

Aug 24, 2017

难道是昨天那个抓取外包的活？

cqcn1991

Aug 24, 2017 via iPhone

我是数据量很小，大概 1w 条，所以基本不需要做反爬，控制时间就好了…

nicktogo

Aug 24, 2017

我好像前年这个时候也用 ASIN 爬过美亚数据（怀念当时做的课程项目 233 ），当时是用美亚的 API，楼主可以查查看

adapalene

Aug 24, 2017

@JerryKwan 谢谢，能稍具体介绍下使用策略吗？

adapalene

Aug 24, 2017

@huangfs
不是，我已经爬了快 3 个月了

adapalene

Aug 24, 2017

@nicktogo
谢谢，我看下 API

qq12345454

Aug 24, 2017

我也想爬点数据，不过爬了不晓得怎么换钱