colorsand
V2EX  ›  问与答

新闻聚合网站是怎么做的?

  •  
  •   colorsand · Sep 12, 2015 · 4622 views
    This topic created in 3972 days ago, the information mentioned may be changed or developed.

    就是实时抓取其它网站上的内容实现的吗?

    11 replies    2015-09-12 22:54:10 +08:00
    newtonisaac
        1
    newtonisaac  
       Sep 12, 2015
    难道是打电话问的?
    liangguan5
        2
    liangguan5  
       Sep 12, 2015 via iPhone
    @newtonisaac 哈哈哈
    alexapollo
        3
    alexapollo  
       Sep 12, 2015
    抓取+优质内容筛选+推荐系统
    colorsand
        4
    colorsand  
    OP
       Sep 12, 2015
    @alexapollo 有这方面的经验吗?请教一下:
    主动抓取怎么保证实时性?
    内容筛选是不是需要人工完成?
    colorsand
        5
    colorsand  
    OP
       Sep 12, 2015
    @newtonisaac 我想是不是通过 api 获取的数据
    vstar
        6
    vstar  
       Sep 12, 2015
    我更关注是否会造成侵权等法律问题
    Moker
        7
    Moker  
       Sep 12, 2015
    @colorsand 有 api 和 rss 当然最好。。没有就用爬虫了。。。实时的话爬虫频率高点了。。不过有可能会被封
    IanPeverell
        8
    IanPeverell  
       Sep 12, 2015
    Python 基础教程里面有一个新闻聚合类的初级教程,可以先用 Python 的 NNTP 把信息下载下来,然后再传到网站里,实时性的话可以通过定时启动脚本更新数据就行吧…
    alexapollo
        9
    alexapollo  
       Sep 12, 2015
    @colorsand 大部分不是实时的。。但也有实时系统(量非常大),实际上相当于一个用户代理
    em70
        10
    em70  
       Sep 12, 2015 via Android
    抓取页面,把纯内容提取出来,这个看起来简单,其实算法非常难,各种网站页面结构不一样,要考虑各种奇葩情况。
    mutalisk
        11
    mutalisk  
       Sep 12, 2015
    TF-IDF
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2797 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 42ms · UTC 15:22 · PVG 23:22 · LAX 08:22 · JFK 11:22
    ♥ Do have faith in what you're doing.