用 python 只搞爬虫有没有职业前途？

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 4493 days ago, the information mentioned may be changed or developed.

好多人是因为爬虫学python的，我也是这样的
研究过相关的多线程，异步，协程等解决方案

也尝试接触过python的其他方向，比如Django,bottle开发web应用，用pyqt开发GUI程序

感觉还是喜欢做爬虫或采集，不过这方面招人比较少，好多都是招Django开发的，大家有好的建议吗？

Python

爬虫

django

14 replies • 1970-01-01 08:00:00 +08:00

pyKun

Feb 18, 2014

做 OpenStack 来吧

Shared

Feb 18, 2014

如果你就喜欢研究爬虫不如更深入些，好多搜索引擎公司会要你的

pc10201

Feb 18, 2014

@Shared 我顶多只能算采集吧，离搜索引擎级别的爬虫还有一些距离，大公司估计都是用java或c++来做爬虫的，google现在都很少用python了~

h2ero

Feb 18, 2014

现在写爬虫都用Golang 早先是用的python

itfanr

Feb 18, 2014

@h2ero 写爬虫Go有什么优势？

tioover

Feb 18, 2014

@pc10201 你既然喜欢爬虫那么可以往数据挖掘这条路上走下去啊，如果单纯爬虫的话……我不太清楚，不过感觉似乎没什么内容的样子

senggai

Feb 18, 2014

终极爬虫 http://blogread.cn/it/article/6407?f=wb#original

bengol

Feb 19, 2014

@tioover 单纯的大规模爬虫就是走的计算和存储的方向了

cassiuschen

Feb 19, 2014 via iPhone

@itfanr 1、Go性能比python高我想这基本上应该没有争议；2、Go对于多线程并行和互联网的支持是从设计语言的时候就在考虑的了…

pc10201

Feb 19, 2014

@senggai 这个我会，适合数据无法从源码中直接获取的情况，缺点是速度相当慢~

wangfengmadking

Feb 19, 2014

爬虫语言不是问题，最主要的还是谁的ip资源多^.^

wangfengmadking

Feb 19, 2014

关于lz的问题，我基本觉得只搞爬虫没有多大前途，基本上没有技术门凯。

bcpxqz

Feb 19, 2014

@wangfengmadking ip资源的问题你怎么搞定的？想买代理吧，又找不到靠谱的，rouji的话更又不可能。

wangfengmadking

Feb 19, 2014

@bcpxqz 因为我是个人自己爬数据用，不是工业级的。所以直接用的免费代理cyberhost。