V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
ischansvtoex
V2EX  ›  问与答

大家怎么看新的 KAN 架构?

  •  
  •   ischansvtoex · May 18, 2024 · 1595 views
    This topic created in 709 days ago, the information mentioned may be changed or developed.

    论文传送: https://arxiv.org/html/2404.19756v1 代码仓库传送:

    有没有人小试下效果?结合垂直领域,感觉可以水好多论文!

    2 replies    2024-05-18 11:19:14 +08:00
    SiWXie
        1
    SiWXie  
       May 18, 2024 via iPhone
    火的原因:可以把之前的架构重新用 KAN 做一遍
    核心:激活函数用 B 样条曲线代替,激活函数可训练
    缺点:引入了 B 样条曲线和网格概念,很容易过拟合,网格调小了又和普通 MLP 没区别了
    SiWXie
        2
    SiWXie  
       May 18, 2024 via iPhone
    激活函数可训练是一个切入点,这个 B 样条吧,感觉还是不太合适,是其亮点,也是其缺陷。

    可以用其他的代替(干脆用一个神经网络?),这样做感觉又和 MLP 没有区别

    反正就是水论文呗
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3020 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 15:06 · PVG 23:06 · LAX 08:06 · JFK 11:06
    ♥ Do have faith in what you're doing.