• 请不要在回答技术问题时复制粘贴 AI 生成的内容
hackingwu
V2EX  ›  程序员

有什么办法吧一个网站上的文章都爬取下来吗?

  •  
  •   hackingwu ·
    hackingwu · Jul 13, 2021 · 3367 views
    This topic created in 1789 days ago, the information mentioned may be changed or developed.

    我想把一个网站上的文章爬取下来,有没有办法可以自动触发 chrome 插件(简悦),他可以重新排版,保存的日记中。但是怎么批量的去做这件事情呢?大家有什么 idea ?

    6J73U552K5UVij4R
        1
    6J73U552K5UVij4R  
       Jul 13, 2021
    用 selenium ?然后加载的时候把 chrome 插件 load 进去,再用 xpath 操作?
    hackingwu
        2
    hackingwu  
    OP
       Jul 13, 2021
    @2G 我们可以去触发插件的按钮吗
    itechify
        3
    itechify  
    PRO
       Jul 13, 2021
    爬虫爬得好
    ingdawn
        4
    ingdawn  
       Jul 13, 2021
    坐牢坐到老
    seamonster
        5
    seamonster  
       Jul 13, 2021
    真刑啊,日子越来越有判头了
    zelentre
        6
    zelentre  
       Jul 13, 2021
    很刑.
    HankLu
        7
    HankLu  
       Jul 13, 2021
    很简单
    ztcaoll222
        8
    ztcaoll222  
       Jul 13, 2021
    先这样
    HashV2
        9
    HashV2  
       Jul 13, 2021
    再这样
    JettWu
        10
    JettWu  
       Jul 13, 2021
    进去进得早
    yunyuyuan
        11
    yunyuyuan  
       Jul 13, 2021
    然后再这样
    nepiedg
        12
    nepiedg  
       Jul 13, 2021
    最后在这样
    jingcoco
        13
    jingcoco  
       Jul 13, 2021
    有个 网联网记忆的 工具,初衷是解决有些网站过了几年下线了 没法看的问题。
    kasusa
        14
    kasusa  
       Jul 13, 2021
    python 写,selenium 库,模拟点击按钮,用 xpath 定位下一篇按钮,刷新再来。
    就这么个流程吧。
    不过我感觉网上还是垃圾信息多。都爬下来有什么用呢?
    caicaiwoshishui
        15
    caicaiwoshishui  
       Jul 13, 2021 via iPhone
    楼上队形笑死我
    6J73U552K5UVij4R
        16
    6J73U552K5UVij4R  
       Jul 14, 2021
    @hackingwu 可以的,用 js dom 就可以,xpath 估计也可以。
    solopython
        17
    solopython  
       Jul 14, 2021
    试试 Newspaper3k
    muzuiget
        18
    muzuiget  
       Jul 14, 2021
    写个浏览器扩展就可以了,专事专办。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   926 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 58ms · UTC 19:35 · PVG 03:35 · LAX 12:35 · JFK 15:35
    ♥ Do have faith in what you're doing.