• 请不要在回答技术问题时复制粘贴 AI 生成的内容
JohnChu
V2EX  ›  程序员

能否做一个批量远程下载?

  •  
  •   JohnChu · Aug 30, 2013 · 3164 views
    This topic created in 4664 days ago, the information mentioned may be changed or developed.
    想用实现批量文件“离线下载”(或者说是远程下载)。

    思路1:搭在PaaS上,然后导入一个文件地址列表之后开始下载,下载过程中跳过404的失效地址,下载的时候看得到进度,我用浏览器看得到,把浏览器关了再看还是看得到,完毕之后最好有个提示之类的,反正就是让用户知道,任何方法都行。

    语言基本都可以,如:php、erlang、java、node、python、ruby
    文件数目很大,几万。
    远程下载完我还要下载到本地。

    思路2:用类似vps的东西做,搭个Ubuntu 用wget下,但是我是学生党,大学都没进,所以没钱(没有银行卡Amazon的那个也申请不了),请大家提供方案,这个方案得符合匿名性,“被下载的”网站无法通过log查到我的机器里。

    以上是我的两个思路,大家有更好的也可以提出来。
    如果是思路1麻烦大家提供下代码,我不会php,也不见得为了搞一个项目去特地学。
    谢谢
    5 replies    1970-01-01 08:00:00 +08:00
    ETiV
        1
    ETiV  
       Aug 30, 2013
    aria2c + yaaw
    devon
        2
    devon  
       Aug 30, 2013
    vps都太麻烦,直接讯雷离线 + 离线脚本。下载的所有文件放到一个文本中即可。

    1, 弄个讯雷离线的VIP号(可以买一个月的,没几个钱)
    2, 安装 https://github.com/iambus/xunlei-lixian
    3, 用命令行登录,然后下载,应该类似 lx login, lx download --input a.txt (把所有链接放到a.txt)里即可。
    JohnChu
        3
    JohnChu  
    OP
       Aug 30, 2013
    @devon 可是不符合匿名原则。。。
    如果是国外的工具倒好说
    devon
        4
    devon  
       Aug 30, 2013
    要真匿名难度还有点高的。你用vps,能查到是哪个vps下的,从而能查到vps是谁购买的。然后,同样的,可以查到是从哪里连接到vps,vps的流量又走到了哪里。
    JohnChu
        5
    JohnChu  
    OP
       Aug 30, 2013
    @devon 这个我知道,但是国外比国内查起来麻烦。
    思路1有没有办法?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3050 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 13:21 · PVG 21:21 · LAX 06:21 · JFK 09:21
    ♥ Do have faith in what you're doing.