V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
hujianxin
V2EX  ›  程序员

增加爬虫爬取速度的方式叫并行还是并发呢?

  •  
  •   hujianxin · Sep 3, 2016 · 3083 views
    This topic created in 3524 days ago, the information mentioned may be changed or developed.

    问大家个问题,增加爬虫爬取速度的方法是并行呢还是并发呢?这两者有什么区别吗?

    7 replies    2016-09-04 22:22:23 +08:00
    huntzhan
        1
    huntzhan  
       Sep 3, 2016
    metrue
        2
    metrue  
       Sep 3, 2016 via Android
    并发是思想,并行是实现。
    visionsmile
        3
    visionsmile  
       Sep 3, 2016
    摘自 CSAPP :并发是一个通用的概念,指一个同时具有多个活动的系统;而并行,指的是用并发使一个系统运行的更快。并行可以在计算系统的多个抽象层次上运用。
    kindjeff
        4
    kindjeff  
       Sep 3, 2016
    并行是指物理上的同时发生,并发是指一段时间内的同时发生(逻辑上的同时发生)—— BY 我的操作系统老师。如果这个定义是对的,那么爬虫由你 CPU 的四个核同时处理的四线程是并行;在一个线程等待 IO 时另一个线程占据了资源这两者是并发。
    laoyuan
        5
    laoyuan  
       Sep 4, 2016
    应该是并发吧, CPU 个数就那么多,但你同时可以发起 100 个网络请求
    hujianxin
        6
    hujianxin  
    OP
       Sep 4, 2016
    @laoyuan 好像是这么个意思,我昨天晚上想到两点,查各种博客,稍微有点感觉了。
    petelin
        7
    petelin  
       Sep 4, 2016 via Android
    并行是 赛车,并发是流水线洗车,完了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5503 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 66ms · UTC 08:45 · PVG 16:45 · LAX 01:45 · JFK 04:45
    ♥ Do have faith in what you're doing.