思路是先获取每一页相册中的图片的 url,再分别请求这些 url,然后在得到的 html 中筛选原图的 url,保存到本地.(对应在豆瓣里的操作就是点击缩略图,查看大图),第一步的 url 是都得到了,在第二步时只有前 5 个能返回 200,后面的都被 403 了.设置的延时是 5 秒,想不通.
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3854 days ago, the information mentioned may be changed or developed.
Supplement 1 · Apr 2, 2016
对了,是公开的相册.
Supplement 2 · Apr 2, 2016
有哪位大大知道豆瓣的反爬虫机制是怎样的吗?
 |
1
superliang Apr 2, 2016  1
User Agent 设置了吗
|
 |
2
demomaster OP @myleon 设置了
|
 |
3
skydiver Apr 2, 2016 via iPad 1
referer 设置了么
|
|
4
demomaster OP @skydiver referer 没有,刚查了下,这个是要设成从哪里跳来这的那条 url 吗?
|
|
5
demomaster OP 解决了,正则有问题(逃
|
Select Language