• 请不要在回答技术问题时复制粘贴 AI 生成的内容
beryl
V2EX  ›  程序员

Java VS Py 爬虫

  •  
  •   beryl · Oct 22, 2018 · 3037 views
    This topic created in 2783 days ago, the information mentioned may be changed or developed.

    Java 相对于 Py 爬虫有什么优缺点呀?

    目的: 学习 Java、爬虫 抓取数据,积累数据

    9 replies    2019-06-25 12:58:20 +08:00
    ZhengJL
        1
    ZhengJL  
       Oct 22, 2018
    java 写爬虫没有 py 那么方便,简介
    murmur
        2
    murmur  
       Oct 22, 2018
    作为爬虫的框架来看 现在语言越来越不重要了 更多的策略要放在代理池 反扒 代码分析上
    Cellei
        3
    Cellei  
       Oct 23, 2018
    增加一个 Go 爬虫,等待大佬分析
    brucedone
        4
    brucedone  
       Oct 23, 2018
    https://github.com/BruceDone/awesome-crawler

    这么多框架,你随便选了,选你自己熟悉的语言然后学习
    locoz
        5
    locoz  
       Oct 23, 2018
    Java 写爬虫的缺点就是要写很多冗余的代码,同样的一个爬虫 Java 要写一百多行,Python 只用十行
    优点就是碰到某些特殊情况会比 Python 方便一些,比如原本在服务器上跑的爬虫要改成一个 AndroidAPP,核心部分不用动太多就能移植过去了
    不过实际上语言并不关键,不同的编程语言发出的请求都是一样的,最终还是要处理反爬,这个就是单纯的分析了,跟你用的语言无关
    beryl
        6
    beryl  
    OP
       Oct 23, 2018
    @locoz 但是在基本入门、以及对应的工具包和生态上,是不是 java 稍微弱势点,在爬虫方面
    smeraldo
        7
    smeraldo  
       Oct 23, 2018
    拿 jsoup 写过爬虫,还算安逸,代码量是有点多。因为不熟悉 py,所以用 py 写主观上反而觉得有些慢
    locoz
        8
    locoz  
       Oct 23, 2018
    @beryl #6 emmm。。非常基础的东西确实是 Python 的比较多一些,但是实际上那些非常基础的东西跟语言的关系也不是很大,生态的话我不用 Java 所以不太清楚
    p1094358629
        9
    p1094358629  
       Jun 25, 2019
    就响应而言,python 更快
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2925 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 49ms · UTC 13:42 · PVG 21:42 · LAX 06:42 · JFK 09:42
    ♥ Do have faith in what you're doing.