就是实时抓取其它网站上的内容实现的吗?
就是实时抓取其它网站上的内容实现的吗?
1
newtonisaac Sep 12, 2015
难道是打电话问的?
|
2
liangguan5 Sep 12, 2015 via iPhone
@newtonisaac 哈哈哈
|
3
alexapollo Sep 12, 2015
抓取+优质内容筛选+推荐系统
|
4
colorsand OP |
5
colorsand OP @newtonisaac 我想是不是通过 api 获取的数据
|
6
vstar Sep 12, 2015
我更关注是否会造成侵权等法律问题
|
8
IanPeverell Sep 12, 2015
Python 基础教程里面有一个新闻聚合类的初级教程,可以先用 Python 的 NNTP 把信息下载下来,然后再传到网站里,实时性的话可以通过定时启动脚本更新数据就行吧…
|
9
alexapollo Sep 12, 2015
@colorsand 大部分不是实时的。。但也有实时系统(量非常大),实际上相当于一个用户代理
|
10
em70 Sep 12, 2015 via Android
抓取页面,把纯内容提取出来,这个看起来简单,其实算法非常难,各种网站页面结构不一样,要考虑各种奇葩情况。
|
11
mutalisk Sep 12, 2015
TF-IDF
|