greenhat233
V2EX  ›  问与答

比赛数据有效性处理的一个问题

  •  
  •   greenhat233 · Jul 19, 2019 · 2006 views
    This topic created in 2540 days ago, the information mentioned may be changed or developed.

    mjj 们,现在在弄一个比赛信息显示与管理的网站(主要显示比赛数据,以及登录后收藏比赛数据什么的),现在在弄显示功能。流程主要是爬虫抓取别的网站上的比赛信息,然后汇总到一个网站上面显示。现在数据已经爬到了,打算直接存到 MongoDB 上面,然后前端定时到数据库拿数据。 现在有一个问题就是不知道怎么处理数据库里面的数据,怎么判断这个数据实时性?就是有时候这个比赛时间过了,这个数据在数据库里面,然后就不能拿给前端了。目前只能想到这个办法是全部拿出来,然后筛选,然后再排序,然后再发给前端,还有没有别的高效的办法呢?

    5 replies    2019-07-19 20:06:49 +08:00
    q937298063
        1
    q937298063  
       Jul 19, 2019
    额,存到数据库的时候 ,不存时间之类的吗。。
    greenhat233
        2
    greenhat233  
    OP
       Jul 19, 2019 via Android
    meik2333
        3
    meik2333  
       Jul 19, 2019
    http://contests.sdutacm.cn/contests.json

    https://github.com/MeiK2333/recent_contests

    我的做法是结束时间小于当前时间的直接扔了,简单粗暴
    greenhat233
        4
    greenhat233  
    OP
       Jul 19, 2019 via Android
    @meik2333 抓取简单,就是配合前端这里。想问你抓取的这个数据有在哪里用嘛
    meik2333
        5
    meik2333  
       Jul 19, 2019 via Android
    @greenhat233

    配合前端,就直接用当前时间和数据库里的结束时间比较一下呗,mongodb 也有这样的语句。

    我这个数据就是爬着玩,基本没有应用。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3171 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 14:08 · PVG 22:08 · LAX 07:08 · JFK 10:08
    ♥ Do have faith in what you're doing.