• 请不要在回答技术问题时复制粘贴 AI 生成的内容
pinews
V2EX  ›  程序员

PHP 爬虫如何降低 cpu 占用,其实只用到一个函数 getimagesize

  •  
  •   pinews · May 17, 2020 · 3577 views
    This topic created in 2223 days ago, the information mentioned may be changed or developed.
    如果是 1920x1080 的图片就存下就算 md5,不过 40%不符合要求,49%图片不存在。
    现在似乎是 cpu 到顶了,10%的 cpu 一般在 7%。
    11 replies    2020-05-18 21:44:01 +08:00
    kechx
        1
    kechx  
       May 17, 2020 via iPhone
    不要用库去获取,换系统命令或者 ffmpeg
    vus520
        2
    vus520  
       May 17, 2020
    这个 CPU 也不算高,兄弟。
    z5864703
        3
    z5864703  
       May 17, 2020
    其实楼主应该想说提高效率吧,爬的太慢处理的太慢
    pinews
        4
    pinews  
    OP
       May 17, 2020
    @z5864703 是的,
    vibbow
        5
    vibbow  
       May 17, 2020
    hefish
        6
    hefish  
       May 17, 2020
    别是没爬到本地,而是在线获取图片然后 md5 哒。。。
    PHPJit
        7
    PHPJit  
       May 18, 2020 via iPhone
    协程
    liuguang
        8
    liuguang  
       May 18, 2020
    php 是单线程的,有可能是 CPU 在下载的时候,等待 io 导致 CPU 占用高(猜测),也许可以用其它语言编写一个异步 io 的程序,说不定 CPU 就可以降不少,当然这只是猜测。到底是等待 io 造成的 CPU 占用多,还是计算图片大小,计算 md5 造成的 CPU 占用高,这个需要实际测一下才知道。
    pinews
        9
    pinews  
    OP
       May 18, 2020
    @hefish 就是啊,下载到本地还要删除,麻烦,需要计算 md5 的机会很少。
    pinews
        10
    pinews  
    OP
       May 18, 2020
    @liuguang io 不高的,ssd,文档说有 320,控制面板检测到的只有 2/秒
    @vibbow 好的 我试试
    pinews
        11
    pinews  
    OP
       May 18, 2020
    不过磁盘使用率是

    Maximum \ 34.80 %
    Maximum \mnt\resource 5.97 %

    不知道是什么意思?会不会这上面被限制了?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5361 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 154ms · UTC 06:26 · PVG 14:26 · LAX 23:26 · JFK 02:26
    ♥ Do have faith in what you're doing.