werwer
V2EX  ›  问与答

求教,根据现成的 url 清单下载网页的最好方法是?

  •  
  •   werwer · Apr 7, 2024 · 1280 views
    This topic created in 794 days ago, the information mentioned may be changed or developed.
    能够模拟登录状态,尽可能的高效且能避免被 ban
    6 replies    2024-04-08 08:51:51 +08:00
    cutecore
        1
    cutecore  
       Apr 7, 2024
    firefox 有两个插件: "Open Multiple URLs" 和 "SingleFile | 将完整的页面保存到一个 HTML 文件中" 搭配着用可以
    dallaslu
        2
    dallaslu  
       Apr 7, 2024
    wget
    tool2d
        3
    tool2d  
       Apr 7, 2024
    我以前用浏览器插件做远程调用实现过。

    wget/curl 这种 ssl 指纹都不一样。还是 chrome 主流的指纹,比较不容易进黑名单。当然也需要控制访问频率。
    gdfsjunjun
        4
    gdfsjunjun  
       Apr 7, 2024
    不知道你是不是指 Save Page WE 这个 Chrome 扩展。
    我觉得很好用,直接将页面保存为单个文件。
    werwer
        5
    werwer  
    OP
       Apr 7, 2024
    @gdfsjunjun 我是指根据已有的 url 大批量地下载网页。另外,你所说的这个扩展和直接 ctrl+s 然后选择格式为 mhtml ,有什么区别吗?
    gdfsjunjun
        6
    gdfsjunjun  
       Apr 8, 2024
    @werwer 扩展会直接把图片转成 base64 ,你直接保存存的是图片链接,有可能以后会失效。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1045 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 23:00 · PVG 07:00 · LAX 16:00 · JFK 19:00
    ♥ Do have faith in what you're doing.