anonymoustian
V2EX  ›  Hadoop

既然 static 修饰的成员变量和方法不能序列化,那么写 Spark 程序时如何定义自己的工具类?

  •  
  •   anonymoustian · Apr 8, 2016 · 3097 views
    This topic created in 3734 days ago, the information mentioned may be changed or developed.

    我想写一个工具类, 里面的方法、变量都是静态的,另外还包括静态代码块。

    因为我想做成一个 “工具”的效果。

    但是这样的话 在 Spark 平台上运行就会报错, user class threw excpetion task not serializable 。

    请问大家有没有好的解决办法?

    3 replies    2016-04-08 13:26:37 +08:00
    knightdf
        1
    knightdf  
       Apr 8, 2016
    既然是工具类,就打成包, slave 直接用就行了,具体任务与工具类无关
    anonymoustian
        2
    anonymoustian  
    OP
       Apr 8, 2016
    @knightdf 什么是 slave ?
    knightdf
        3
    knightdf  
       Apr 8, 2016   ❤️ 1
    @anonymoustian 就是集群节点
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5294 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 75ms · UTC 03:48 · PVG 11:48 · LAX 20:48 · JFK 23:48
    ♥ Do have faith in what you're doing.