douban 的 www 域名 request 抓不到吗?

This topic created in 4434 days ago, the information mentioned may be changed or developed.

在cnodejs 上发过,没人回复,再到这里问下.

看了很多例子都是拿douban做爬虫的例子..

然后我也试试.

发现
request('http://movie.douban.com/') 有用

request('http://www.douban.com/') 没用

是什么原因呢?

request

douban

例子

8 replies • 2014-04-29 18:04:29 +08:00

khowarizmi

Apr 29, 2014

var request = require('request');
request.get({
url: 'http://www.douban.com',
headers: {
'User-Agent': 'request'
}
}, function(err, res, body){
console.log(body)
})

rails3

Apr 29, 2014

require 'net/http'
Net::HTTP.get('www.douban.com','/')

毫无鸭梨

firhome

Apr 29, 2014

@rails3 能说说为什么吗.

firhome

Apr 29, 2014

@khowarizmi 能告诉我为什么吗? www 的不行

dorentus

Apr 29, 2014

@rails3 你这明明是 ruby 的代码……

@firhome 什么叫「www 的不行」，有什么错误信息么？

khowarizmi

Apr 29, 2014

@firhome 豆瓣认为你是爬虫，直接爬就403了呗。加上user-agent，装成浏览器。。

firhome

Apr 29, 2014

@khowarizmi 感谢, 那么我以后怎么判断/分析是这个原因呢?

YouXia

Apr 29, 2014

@firhome 可以参考下HTTP协议的状态码。