微博、微信公众号现在有什么比较好的爬虫方案吗?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 3673 days ago, the information mentioned may be changed or developed.

想定期爬几个微博号、公众号的数据，做个信息汇总的网站但是不知道现在微博和公众号的爬取难度如何？

8 replies • 2016-05-01 17:55:41 +08:00

liaowu

Apr 6, 2016 via iPhone

公众号爬搜狗就好了。历史文章都有

cqcn1991

Apr 6, 2016 via iPhone

@liaowu 话说有没例子？还是得做 cookies 那种？

zcoder

Apr 6, 2016

@cqcn1991 不需要 cookie ，直接从 http://weixin.sogou.com/ 爬取

cqcn1991

Apr 6, 2016

dong3580

Apr 6, 2016 via Android

用 c#上的 webbrower 爬取，不过微博可能翻页会有验证码

vvaaiinn

Apr 8, 2016

@cqcn1991 楼主你好、最近也在搞这个、但是水平有限、不知道怎么免过登陆、可否加个联系方式交流交流

cqcn1991

Apr 8, 2016

@vvaaiinn 我也是啊...不知道怎么搞....我根本抓不到相关的信息

cqcn1991

May 1, 2016

@liaowu
@zcoder
@dong3580
已经基本解决了小量的爬取，我自己是 Ruby ，用的 PhantomJS
凑合着用吧...