wjx1993
V2EX  ›  Node.js

各位大佬们。请教一个关于微信文章爬虫的问题

  •  
  •   wjx1993 · Mar 29, 2018 · 6147 views
    This topic created in 3016 days ago, the information mentioned may be changed or developed.

    https://github.com/lqqyt2423/wechat_spider 这个微信文章爬虫项目感觉写的挺好的,他这个项目我运行后,只能获取文章链接和标题,但是不能自动跳转到文章详情页获取浏览量和点赞

    希望大佬们看到后,指导一下

    我是 win10 上运行的,不知道是否会有影响

    14 replies    2018-03-29 11:30:52 +08:00
    wjx1993
        1
    wjx1993  
    OP
       Mar 29, 2018
    个人感觉有可能是 redis 数据库存储文章链接的问题,因为我在本地 redis 数据库没看到文章链接的数据,但是他代码里的逻辑应该是从 redis 数据库取链接然后再获取文章详情页的浏览量和点赞
    wjx1993
        2
    wjx1993  
    OP
       Mar 29, 2018 via Android
    有没有大佬在?
    wjx1993
        3
    wjx1993  
    OP
       Mar 29, 2018 via Android
    跪求大佬指导
    lazyboy
        4
    lazyboy  
       Mar 29, 2018   ❤️ 3
    我写的。。 通过历史消息页面获取文章和链接后 再随便打开一篇文章页面试试
    lazyboy
        5
    lazyboy  
       Mar 29, 2018
    就说今天过来怎么多了些 star 了
    opengps
        6
    opengps  
       Mar 29, 2018
    @lazyboy 666,活捉大佬啊
    wjx1993
        7
    wjx1993  
    OP
       Mar 29, 2018 via Android
    @lazyboy 大佬,联系你好久了,就是没有回复我,终于找到你了
    wjx1993
        8
    wjx1993  
    OP
       Mar 29, 2018 via Android
    @lazyboy 我试过了,要手动点开文章才可以获取文章详情页的浏览量和点赞
    wjx1993
        9
    wjx1993  
    OP
       Mar 29, 2018 via Android
    @lazyboy 可不可以改成自动点开获取数据?
    lazyboy
        10
    lazyboy  
       Mar 29, 2018
    targetBiz.json 设置这个文件里面的你要抓取的 msgbiz
    或者直接把这个文件删掉
    然后之后打开文章页面 只要你的数据库中之前有链接 就会自己跳的
    你可以看我的代码逻辑怎么写的呀
    wjx1993
        11
    wjx1993  
    OP
       Mar 29, 2018 via Android
    @lazyboy redis 数据库并没有存跳转的链接,怎么跳?大佬,可以加你微信或 qq 私聊吗?
    lazyboy
        12
    lazyboy  
       Mar 29, 2018
    mongo 里面有就行
    wjx1993
        13
    wjx1993  
    OP
       Mar 29, 2018 via Android
    @lazyboy mongo 里有文章链接,但是并不能自动跳转到文章详情,你看下
    lazyboy
        14
    lazyboy  
       Mar 29, 2018
    加我微信吧 MTg4MTc1MDc1MzA=
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5870 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 63ms · UTC 02:29 · PVG 10:29 · LAX 19:29 · JFK 22:29
    ♥ Do have faith in what you're doing.