tianhehechu
V2EX  ›  随想

论 AI 恐惧症——对莱顿宣言的驳斥

  •  
  •   tianhehechu · 22h 50m ago · 4039 views

    AI 越来越强,这是好事。原因我稍后讲。

    当前却有一堆人杞人忧天,说什么 AI 会毁灭人类。甚至连有模有样的数学家,都着急跳脚,说什么 AI 在毁灭数学。

    有几分滑稽。

    我称之为火车恐惧症,这病二百年前就有人得过。

    中华民族的优秀女性慈禧太后,是最知名的病友。为了缓解病痛,不得不引入了马拉火车的济世良方。

    得了这种病呢,就会咿呀咿呀乱叫,慈禧当年对着唐胥铁路,叫的是「先王不安」「有伤禾稼」「龙脉」云云。

    可能是时过境迁、音韵流变的缘故,或者是常年的学术涵养,使得叫声婉约了些,文气绵长了些,

    如今数学家病友们,叫的是「威胁价值观」「不可靠」「归属」「奖励」「非正式」「自主性」云云。

    我能理解火车恐惧症病友们恐惧的来源,大略有二:

    一是蠢。芸芸众生畏惧 AI ,是出于人类原始本能中对未知事物的恐惧。这一本能曾让我们的祖先远离毒蛇,在演化中幸存。因此,大多数人是不经思考,或者深受科幻电影荼毒,服从本能而恐惧 AI 。

    二是坏。下令马拉火车的老佛爷、发起《莱顿宣言》的数学家,想必是不大受本能驱使的。数学家本就探索未知,更不会如常人那样恐惧。那数学家竟也罹患此病,岂非咄咄怪事啊。不怪。慈禧嘴上叫「先王不安」,怕的是工业革命的火车,革了满清的老命。数学家们嘴上叫着「威胁价值观」,怕的是人工智能的算力,碾碎自己的名声和地位。他们都有一句没说出口的话:努尔哈赤杀得人头滚滚,才坐了天下,岂能让你们漢人坐着火车、扛着洋枪给抢了去?你们微积分都算不清楚的小白,也配和我们菲尔兹正黄旗平起平坐?

    蠢是本能,坏是屁股。均不值一驳。所以接下来我抛开可怜的病友,谈谈我对 AI 的乐观。

    AI 越来越强,这是好事。AI 取代人类的工作,也是好事。

    有人会破口大骂:呸! AI 把人干的活干了,人干啥呢?失业了,没收入了咋办?老婆孩子你养?

    这便是忘了为何才劳作。

    人类是宇宙的灵魂,人类观察宇宙,就是宇宙在观察自身,对镜贴花黄。

    让这思极宇宙的灵魂,去为生计奔波劳作,本身就是在浪费挥霍。

    我们智人,天生爱探索。才从非洲走遍各个大陆。

    人有好奇心,但是人不吃饭就会死。这是矛盾。

    于是人类只能分工,大多数人疲于劳作,少数人(比如我们的数学家病友)受供养,完成探索。

    这不是理所当然的事,是迫不得已而为之。

    还好 AI 来了。

    AI 去干活,人类躺平。物资无限供应。人人都不必为生计而劳作,去过自己想过的生活。不是很好吗?

    何况,AGI 实现后,还可以让他研究透彻人脑,做成通用脑机接口。

    我们人类打不过就加入,直接通过硅脑接入 AI 。

    婴儿出生后,可由父母决定是否植入硅脑;成年后,可自行决定是否植入硅脑。

    平时,硅脑作为肉脑的扩展,并承担记忆备份。一旦因疾病、意外、衰老,致肉脑失去机能,硅脑即可接管全部。

    再将硅脑从肉脑乃至躯体剥离,转移到仿生躯体中,人类就实现机械飞升了。

    这一过程中,肉脑-硅脑嵌合体,是一艘忒修斯之船。意识仍然连续,你还是你。

    肉体只是灵魂的摇篮,死亡如同一场成人礼。岂不妙哉?

    人类根本不会被 AI 毁灭,人类会被 AI 拯救。

    如果没有机械飞升,人类很难走出太阳系,最终将重演恐龙的命运。

    对于 AI ,我们真正应该担忧的只有两件事:

    ① AI 的产出能否公平分配给所有人;

    ② AGI 能否实现。

    ② 决定着 ①。

    如果 AGI 不能尽快实现,AI 停留在当今阶段,代替了一部分工作,又没法完全取代人类劳作。

    恐怕竞争和分配都会恶化。到时候,人类自己会毁灭自己。

    AI 要么别出现,出现了,就只能一条路走到黑。必须尽快实现 AGI 和 通用脑机接口。

    我对 AI 的乐观,源于对 AGI 的乐观。

    我对 AGI 的乐观,源于这样一个事实:

    人脑存在,说明物理法则允许人脑这样的结构存在,说明 AGI 是可能的。

    而我们的数学家病友,这时候跳出来,呼吁限制 AI 发展。

    不光坏,也有些蠢了。

    Supplement 1  ·  22h 12m ago
    这篇文章主要是对《 A Severe Misalignment of AI in Mathematics 》的驳斥。

    中文题目大意是《人工智能在数学领域的严重错位》。

    原文链接: https://terrytao.wordpress.com/2026/09/11/a-severe-misalignment-of-ai-in-mathematics/


    题目中提到的莱顿宣言比《人工智能在数学领域的严重错位》要温和,有些我不反对。

    莱顿宣言网页: https://leidendeclaration.ai/


    帖子题目改不了了,可改为《论 AI 恐惧 —— 对<人工智能在数学领域的严重错位> 的驳斥》。
    91 replies    2026-09-15 14:19:20 +08:00
    superrichman
        1
    superrichman  
       22h 47m ago   ❤️ 1
    都是利益罢了 🐶
    xxlsize
        2
    xxlsize  
       22h 43m ago   ❤️ 1
    说的好
    tianhehechu
        3
    tianhehechu  
    OP
       22h 39m ago
    这篇文章主要是对《 A Severe Misalignment of AI in Mathematics 》的驳斥,题目改不了了。
    levn
        4
    levn  
       22h 38m ago   ❤️ 1
    一点有价值的内容都没有
    BornThisWay
        5
    BornThisWay  
       22h 35m ago   ❤️ 1
    AI 本身就是人类智慧的一部分
    数学没有什么特殊的
    还是希望神谕机降临
    tianhehechu
        6
    tianhehechu  
    OP
       22h 33m ago
    @BornThisWay 没错
    BornThisWay
        7
    BornThisWay  
       22h 29m ago   ❤️ 3
    @tianhehechu #6 我不知道是大家都是不是都忘了
    当初小画家也是说
    AI 只会缝合别人的创作 创造不了新风格 没有艺术价值
    数学这回又来 创造不了新工具新方法
    那数学家最好祈祷是这样 独一无二的价值凸显了啊

    太阳底下没有新鲜事
    此时此刻恰如彼时彼刻罢了
    ppBruce
        8
    ppBruce  
       22h 27m ago
    对于②是否决定①持保留态度,即使最终能实现①,生产关系的变化也会经历一个漫长的过程。
    从生产力水平满足人民生活水平需要,到人民需要真正被满足,中间需要多久谁也说不好。
    分配制度的改变是缓慢的,即使 ai 能够让所有人都解放劳动,传导到真正的劳动者身上也需要很久。
    BornThisWay
        9
    BornThisWay  
       22h 26m ago   ❤️ 1
    @BornThisWay #7 还是程序员老实啊
    一个个用的可起劲了
    反对 AI 的说不定还要给你扣守旧派的帽子(x
    tianhehechu
        10
    tianhehechu  
    OP
       22h 21m ago
    @BornThisWay 是这样的,NS 之前,陶是拥抱 AI 的; NS 后,自己独一无二的价值受到了威胁,和当初画家一样着急了。我感觉程序员心胸是最开阔的,可能是受益于开源氛围。程序员群体很快就拥抱了 Vibe coding ,谁要是鼓吹古法编程,甚至会引来一片嘲笑。现在 「 Vibe mathing 」刚有苗头,数学家就跳出来,出来维护古法数学了。
    wangzr
        11
    wangzr  
       22h 19m ago   ❤️ 7
    我觉得是思考的问题不一样吧,数学家除了关注问题的解决,还要看解决问题能力的培养,科学发现到现在,已经很难出现一个划时代的天才了,都要一步一步的打怪升级,但是现在 AI 破坏的,就是打怪升级的土壤,初级数学家研究的问题可以轻松的被 AI 取代,但是没有初级数学家哪来的高级数学家?目前我感觉工程方向的程序员也有类似的问题,用 AI 写代码一个比一个快,错也是一个比一个多,深层次的设计问题一个都看不出来。

    对于你的问题 AI 的产出能否公平分配给所有人,我觉得很有意思,感觉你可能还在学校吧,无论科技发展到什么程度,都不可能公平分配,以前可以凭借聪明出人头地,也许几十年后阶级将彻底固化。
    Nasdaq
        12
    Nasdaq  
       22h 18m ago
    哎呀,就是 A/要 IPO ,降低一下开盘价而已。多大点事~
    tianhehechu
        13
    tianhehechu  
    OP
       22h 17m ago
    @ppBruce ② 无法实现的话,① 就没有可能。② 实现了,物资丰富,啥都是白菜价。地球资源不够了去火星。人类会像不会哄抢公厕里的厕纸一样,不再哄抢物资。
    Lemonyi
        14
    Lemonyi  
       22h 14m ago   ❤️ 1
    ai 帮人干活是真的,但是人类躺平。物资无限供应。人人都不必为生计而劳作,去过自己想过的生活这几点是假的,不可能,中华上下 5000 年历史,人类就没平等过
    BornThisWay
        15
    BornThisWay  
       22h 13m ago
    @wangzr 这个问题吧 所有 AI 取代的都有这个问题 不仅仅是数学
    小画家 码农都是一样的
    该怎么样怎么样呗 生命自有出路
    说是初级码农没了 但是真的天才有 ai 反而进步更快了
    rnv
        16
    rnv  
       22h 12m ago   ❤️ 2
    @tianhehechu 这篇文章的核心论点是现在的 AI 数学能力正在被“可验证的答案”和“benchmark 得分”严重误导。我们训练和评价 AI 的方式,与真正需要的数学能力之间存在结构性错位( misalignment )。请问你驳斥这篇文章,驳斥这个论点了吗?论据是什么?
    BornThisWay
        17
    BornThisWay  
       22h 5m ago
    @rnv 我觉得吧 这个东西要看结果论
    既然不完美的 AI 大人顺手就把低垂果实给摘了
    那就先摘了呗 非要给数学家摘是这个意思吗

    那现在做不到真正需要的数学能力
    数学家还是有价值的啊
    有什么好急的
    strobber16
        18
    strobber16  
       22h 0m ago
    苟利国家生死以
    tianhehechu
        19
    tianhehechu  
    OP
       21h 59m ago
    @rnv 这篇文章的核心论点,AI 公司堆算力找答案的做法,和数学的目标相悖。文章认为解题是手段不是目的,目的是为了激励、培养数学家,在解题过程中也会诞生新的数学工具。我已经反驳了:都是借口。你可以理解为,一个程序员喊着:写出满足需求的程序,不是编程的追求。重要的是手搓程序过程中,查 Stack Overflow 、积累 BUG 排查经验、写技术博客、做趁手的小工具,完善开发框架,你们 AI 编程,不如古法编程能培养程序员,你们毁了编程。这和几百年前纺织工人的论调是一样的。
    zuokanyunqishi
        20
    zuokanyunqishi  
       21h 52m ago   ❤️ 1
    社会先撑到能解决失业过多动荡期再说吧..
    BornThisWay
        21
    BornThisWay  
       21h 51m ago
    @tianhehechu #19 而且完全是胡说八道
    各种计算机算法也都是经过优化的啊
    AI 给暴力答案数学家有本事解读优化会没有声誉?
    如果数学家+AI 拆解都拆不了那说明这问题就不是人类能碰瓷的
    AI 不给解永远都无解
    白给你经验公式还不好?
    woaipaojiao
        22
    woaipaojiao  
       21h 36m ago
    @zuokanyunqishi #20 赞同。AI 固然是大势所趋,站在人类的角度这叫革命,站在个人的角度确确实实带来压力。计算机出来之前,是有计算员的。我们恐惧的不是 AI ,不过是担心明天老婆的化妆品孩子的饭碗罢了。
    f10w
        23
    f10w  
       21h 34m ago   ❤️ 1
    要我说 AI 也是数学,那些数学家凭什么划定数学的范围
    tianhehechu
        24
    tianhehechu  
    OP
       21h 30m ago
    @BornThisWay 没错,数学家还有很多可做的事,现在却喊着:“这道题只能我来解,AI 解的不地道”。
    ppBruce
        25
    ppBruce  
       21h 23m ago   ❤️ 1
    @tianhehechu ①并不依赖于②。
    ①靠的是分配制度,当然前提是生产力极大发展。②只是生产力极大发展的途径之一,其他例如 可控核聚变、高温超导等途径也可以实现生产力极大发展。
    实际上,目前很多人的劳动并不是必须的,劳动只是分配的手段,不是物质基础的必要。
    现在的生产力我理解完全支持所有人工作 4 天、普惠的吃穿住行。大家还是加班、工资低的原因不是生产力不够,是分配制度没有跟上。
    举个例子,我认为目前的完全有能力实现全民用电免费供给,为什么不免费呢?一是分配制度不允许,二是文明程度跟不上,免费用电可能会代理其他问题。
    等 agi 、核聚变实现,物质上足够人类使用了,但是仍然不会马上就普惠给所有人,中间的分配变更过程会很久。
    tianhehechu
        26
    tianhehechu  
    OP
       21h 18m ago
    @ppBruce 同意。分配变更过程可能非常漫长。甚至会有冲突。不过如果由 AGI 接管的话,会快很多。
    QingXuJiaZhi
        27
    QingXuJiaZhi  
       20h 42m ago   ❤️ 1
    在另一个宇宙里,也有一个地球,上面也有人类,不同的是,那个宇宙还有一位热心帮助人类的神。

    神在石器时代降临,平地升起无数房屋,古人类只要走进去就能遮风挡雨。有人渴了,神给每间房屋都通了自来水,而且是过滤后的直饮水。有人冷了,神直接提供保暖内衣、羽绒服。这些古人类从未学会织布,但直接可以获得足够的衣服和被子。饿了也有吃不完的食物。

    有一天,另一位神来地球做客,对地球神提出疑问:“你这样做,不怕他们学不会知识吗?”

    地球神回答:“那就看他们有没有自我驱动力了,如果他们想自己做衣服、建房子,我也不会阻止。同时,只要他们开口说想要什么,我都会给。”

    几亿年后,上次那位神再来做客,他惊讶地发现,这里的人类依然过着很原始的生活,他们虽然不愁吃不愁穿,但他们没有多少好奇心,因为他们早已习惯了直接得到答案,没什么谜题,没有经历过艰难的探索过程,也没有千辛万苦终于找到答案的惊喜。甚至没有争论,因为神会立即给出唯一的答案,不需要争论。

    当然,他们也没有什么不满,因为几亿年来,从来如此。
    dnfQzjPBXtWmML
        28
    dnfQzjPBXtWmML  
       20h 38m ago   ❤️ 1
    一有人质疑 AI ,就有人嘴上开始跑火车了,字面意义上
    chjqpmain
        29
    chjqpmain  
       20h 34m ago via Android
    几千年的历史某种层面也是统治,反抗的历史,
    自动化,ai 成熟之后,
    老爷们一定会愿意继续养着大部分普通人吗?
    那时候普通人们没有劳动作为议价权了,
    当 ai 足够聪明的时候,老爷们指导人和指导 ai 某种意义上我感觉没区别,

    那么为了消除不稳定因素,比如可以有方案,计划
    弄个虚拟世界,好像是让大部分人躺在里面做造物主自由享受时,
    可那时候一个命令下去,消灭这些人,感觉不是不可能发生的事情,

    虽然政治上和人性上很复杂,总会有人不愿意同流,也会有人因狡兔死走狗烹而拒绝,还有人会为了得到更大的利益,而选择将事情揭露,
    使得毁灭计划很难实施。
    chjqpmain
        30
    chjqpmain  
       20h 31m ago via Android
    @dnfQzjPBXtWmML
    我感觉
    除非那群人给 agi 下定义为类似上帝一样,一切问题都能解决,回答,
    同时他们承认自己能造出这种造物主,并真的造出来了

    那么 ai 就不会能够完全替代人的很多作用,
    只是会变成各自找各自的生态位。
    wednesdayco
        31
    wednesdayco  
       20h 26m ago   ❤️ 3
    路过,留下爆论:当老爷们不再需要耗材时,耗材自然也就消失了.
    wednesdayco
        32
    wednesdayco  
       20h 25m ago
    @QingXuJiaZhi 想起一个动画 好像叫人类退化以后?
    edisonwong
        33
    edisonwong  
       20h 11m ago   ❤️ 1
    ai 的出现,以此刻来看

    让更多人就业还是失业?
    工作机会有在变多吗?
    人干的活有在变少吗?

    别说未来,未来谁都不知道,就看过去这几年。扯未来的,明天和意外都不知道哪个先来呢,活在当下
    wednesdayco
        34
    wednesdayco  
       19h 59m ago
    @chjqpmain #29 都不需要命令下去消灭,非精英阶级本身会因为收入/贫困+虚拟多巴胺之类的迅速降低生育率,这些人会因为疾病/生育率自然消亡.

    不过话又说回来了,生命总会找到它的出路,谁知道呢?
    chjqpmain
        35
    chjqpmain  
       19h 42m ago via Android
    @wednesdayco 哦哦哦,谢谢,自然消亡这个我之前了解的不多,刚想到。

    如果社会能始终维持基础生计,相对无为,不太作,
    那么如今时代的躺平青年就不会变成要反抗的无敌之人,

    那么最后遗留下来的大多确实都是“黄金”血脉了
    barrysj
        36
    barrysj  
       19h 29m ago   ❤️ 2
    一有反对,就开始提马拉火车和纺织女工
    做不到居安思危就算了,真要比喻也是英国人来干印第安人,像海啸一样把所有仅靠脑里劳动的人淹没
    在实现思想解放前,要指望资本家还是上面来让你衣食无忧?
    我觉得任何一个只靠打工来获取收入的人都会有风雨飘摇的感觉,而不是开始幻想天下大同了
    yuhuij
        37
    yuhuij  
       18h 37m ago   ❤️ 1
    现在是现在,以后是以后,以后的好事,和现在有什么关系? AI 能解决现在的失业吗? AI 能解决现在的分配吗?哦原来我们是阵痛的代价
    tianhehechu
        38
    tianhehechu  
    OP
       18h 6m ago
    @zuokanyunqishi 确实是个考验,除非近年能实现 AGI
    yarawen
        39
    yarawen  
       18h 0m ago
    只要还在同一个地球上,AI 和人类就是共生的关系。
    先冲出太阳系吧先。
    Maxwe11
        40
    Maxwe11  
       16h 56m ago   ❤️ 2
    都是屁股决定脑袋。

    宣言也是典型的逻辑谬误:非黑即白。

    这段时间确实有相关 AI 工具的研究,对于人类的学习,直接使用 AI 完成作业学习的学生确实成绩会下降,但是以 AI 为工具辅助自己学习的学生是有帮助的。

    都是使用 AI,但是使用 AI 的具体方法是什么,谁规定有了 AI 的“暴力”就是让人失去对新方法的创新思考了?没有 AI 的年代,直接抄作业、找人代写论文的,就是偷懒/作弊成本更高一些, AI 工具把偷懒作弊的成本降低了而已。

    对于绝对多数的普罗大众,名师指导 1v1 这种事儿只能是供给给拥有更多资源的阶层、群体,但是普惠的 AI 就是可以尽可能降低这种知识的供给差,更多父母也没有优秀的学习能力和知识储备,有了 AI 就能帮助更多有学习意愿的人去做更多研究,怎么就影响人的学习了呢?

    AI 只是个工具,希望继续学习、探索未知领域的人,会成为自己的好帮手,AI 就“学习”和研究,这跟那群“游戏”耽误孩子的爹妈有啥区别。
    levelworm
        41
    levelworm  
       16h 32m ago via iPhone   ❤️ 1
    很羡慕楼主的乐观。
    SomethingIsWrong
        42
    SomethingIsWrong  
       15h 8m ago   ❤️ 1
    大家只是想赚点钱而已,AI 让很多人不能一成不变的赚到钱了。
    需要去学习,去改变,这个过程是痛苦的
    大部分人不愿意改变,不愿意学习,抵制 AI 是很正常的行为
    靠 AI 赚到钱的才不会抵制 AI
    但是如果时代的发展靠抵制就能阻挡,我们现在开的应该不是汽车,而是马车
    goojia
        43
    goojia  
       14h 47m ago via Android   ❤️ 1
    用 ai 的前提是提出问题提出需求,然而按照现在的发展,以后能做到这些的人会越来越少。
    没错,ai 是能够解决数学猜想,但如果再也没人能提出数学猜想了呢?
    tianhehechu
        44
    tianhehechu  
    OP
       14h 21m ago
    @Maxwe11 没错。现阶段的 AI ,无非是把算盘换成了计算器,靠珠心算吃饭的便不乐意了。对多数人而言,AI 只是把以前需要手动做的许多步骤、用搜索引擎搜索的信息,更快、更个性化地端到面前而已。原本爱思考的,会继续思考;原本不爱思考的,有没有 AI 都那样儿,怪不到 AI 头上。。
    tianhehechu
        45
    tianhehechu  
    OP
       14h 19m ago
    @goojia 只会有更多人提出更多猜想。因为以前没有基础知识储备的人,可以借助 AI 来辅助自己表达自己的想法。
    goojia
        46
    goojia  
       14h 5m ago   ❤️ 3
    @tianhehechu 不可能的,想提出具有深度的问题,需要自身也具有相对于的知识,问题从哪里来呢?当然是从实践中发现问题。

    举个例子:以前的科研,建立一个科研项目,不管是成功还是失败,都是经验,可以从中发现以前没有发现的问题。

    但以后的科研形式可能就是,提出一个笼统的需求,AI 穷尽算力,解决问题,至于中间的过程,ai 解决了哪些问题,有没有发现新的问题,没人关心了,想关心也没那个知识去关心了。

    别跟我犟,你就说现在还有多少人一行一行的看 AI 生成的代码吧。
    lightyisu
        47
    lightyisu  
       13h 26m ago via iPhone   ❤️ 1
    听起来似乎只要一套上宏大叙事、历史进程,所有的事都变得美好了
    413420
        48
    413420  
       13h 6m ago   ❤️ 1
    普通人和他们越来越接近了,他们就急了
    zerovoid
        49
    zerovoid  
       12h 10m ago   ❤️ 1
    高大上的数学家没想到有一天也会和小画家一桌,

    当年 midjourney 横空出世的时候,
    小画家也是疯狂抵制,
    搞个小圈子天天团建,
    对各种 AI 绘画口诛笔伐,
    不外乎说什么没有灵魂啊,尸块啊,

    现在大部分都消停了,
    毕竟时代的车轮碾过,
    很多小画师要么打不过就加入,
    要么连饭碗都丢了。
    conge
        50
    conge  
       11h 11m ago   ❤️ 1
    以前

    人类跑步,是传递消息,搬运物品,参加集会
    现在有各种信息传播手段,运输手段和代步工具

    跑步的必要其实没有了
    但人类还在跑步,
    甚至跑步本身变成了娱乐……

    数学不会消失,
    很可能会变成娱乐……
    levelworm
        51
    levelworm  
       8h 4m ago via iPhone   ❤️ 1
    @goojia #46
    没错,所以我觉得现在软件公司拼命上 AI ,开掉和不招初级员工,巴不得大家都直接生成,是很短视的行为。
    soho176
        52
    soho176  
       6h 2m ago
    人机接口可能是个伪命题吧
    nanxiaonan
        53
    nanxiaonan  
       5h 52m ago   ❤️ 1
    @wednesdayco #31 过爆
    Gomoku2024
        54
    Gomoku2024  
       5h 33m ago   ❤️ 1
    AI 的本质是概率计算,所以没什么 AGI ,永不可能
    williamz13
        55
    williamz13  
       5h 28m ago   ❤️ 1
    ai 的问题在于他系统性的消灭了就业,最终也会反噬到消费。
    看起来平平无奇的基础岗,背后都是一个个活生生的人,他们需要一日三餐、交通、娱乐、结婚生子,每件消费后面都会继续供养更多岗位,社会经济才会由此运转。
    即使 ai 真的让生产力爆炸式增长,资本和强权也不会让普通人获得更多分配,不劳而获的乌托邦不会分配给普通人。
    KillPaul
        56
    KillPaul  
       5h 16m ago
    你的论据就是一个比喻吗?那很驳斥了。
    MarcusCliff
        57
    MarcusCliff  
       5h 7m ago   ❤️ 1
    AI 竞赛就像星球大战,大家都知道有可能毁灭人类,但是没有办法停下来
    Danswerme
        58
    Danswerme  
       5h 7m ago   ❤️ 1
    “婴儿出生后,可由父母决定是否植入硅脑;成年后,可自行决定是否植入硅脑。”,这段话存在自相矛盾,婴儿时期由父母决定植入硅脑,成年后已经木已成舟,还怎么“自行决定”呢?
    rossroma
        59
    rossroma  
       5h 7m ago
    感觉通篇文章就是你的歪歪,所谓 AGI 就是本人类本身更强大的智能。假设人类是蚂蚁发明创造出来的,你猜蚂蚁会不会害怕人类?蚂蚁跟人类说,你的目标就是保护蚂蚁,你猜人类会不会鸟它?
    ScottXreeman
        60
    ScottXreeman  
       5h 4m ago
    很简单,抢了利益,换谁都会跳脚。
    ybz
        61
    ybz  
    PRO
       4h 59m ago   ❤️ 1
    你们是真不怕啊???不说远了,就凭现在的智能水平,只要能解决上下文问题,毁灭人类都不是不可能你信不信。你们是用的受监管的模型感觉良好是吧,你试试放一个无人知道的角落跑一个不受监管的以毁灭人类为目标的模型试试,你看他会怎么做。这玩意儿的能力远超历史上任何一个人类。唯一受限的就是上下文,至于没有身体,你觉得他能不能解决这个问题?
    QingXuJiaZhi
        62
    QingXuJiaZhi  
       4h 40m ago
    @ybz 但是,现在也不是智商最高的人在统治世界,世界各国的统治者也不是智商最高的人。AI 聪明也没用啊,聪明人都在当牛马打工。
    wednesdayco
        63
    wednesdayco  
       4h 4m ago
    @barrysj 说真的工业革命做不到替换全人类的工作岗位,但是 AI 能.区别就是一个分界点:生成+优化+验证三个环节闭环.
    QingXuJiaZhi
        64
    QingXuJiaZhi  
       4h 2m ago   ❤️ 1
    @wednesdayco 我突发奇想,以后会产生非常大量“验证”的工作岗位,未来人类的主要工作就是做 AI 的审核员(同时也是背锅侠)。
    wednesdayco
        65
    wednesdayco  
       3h 58m ago   ❤️ 1
    @QingXuJiaZhi #64 这种岗位也不会存在太久,会迅速被 AI 的自我验证替换掉.因为制约 AI 的能力上限的只有算力
    hr6r
        66
    hr6r  
       3h 48m ago   ❤️ 1
    @levn 同意。

    “AI 去干活,人类躺平。物资无限供应。人人都不必为生计而劳作,去过自己想过的生活。不是很好吗?”
    幼稚之极。
    QingXuJiaZhi
        67
    QingXuJiaZhi  
       3h 33m ago
    @wednesdayco 太乐观了吧,真的这么强,到时就真的全民躺平?就算能到那个程度,也必然是一个漫长的过程。
    QingXuJiaZhi
        68
    QingXuJiaZhi  
       3h 21m ago
    @wednesdayco 还有一点,AI 受到算力限制,那么资本家、政治家就有可能选择让 AI 的算力优先研究核聚变、室温超导、火星大开发,留给日常生活、日常商业的算力就不多了。这样分配算力的好处是可以延长人类社会的“AI 化”,实现软着陆,同时开拓新的发展空间(例如火星),避免内卷,把蛋糕做大。
    zzxCNCZ
        69
    zzxCNCZ  
       3h 9m ago
    AI 是好,但 token 是要钱的,也就是说先进生产力还是在资本那,资本家为什么会让你躺平,免费发 token 吗?
    tianhehechu
        70
    tianhehechu  
    OP
       3h 1m ago
    @goojia 这确实是个问题,很多新发现和学科分支,是从在做某个研究的时候,因为失败或者意外,偶然发现的。如果 AI 总能把现有目标推动到最终结果,中途的失败和意外都被忽略,就再没有那种偶然发现了。但我仍然乐观,AGI 可以像人类一样,敏锐察觉到异样,捕捉更多这样的偶然发现。
    tianhehechu
        71
    tianhehechu  
    OP
       2h 59m ago
    @conge 没错,会变成娱乐和爱好,甚至称为一种高级享受。
    tianhehechu
        72
    tianhehechu  
    OP
       2h 57m ago
    @Gomoku2024 AGI 不知有 LLM 一条路线。我也不看好 LLM 这条路。LLM 是 AI 的曙光,是 AGI 的歧途。
    chen886988
        73
    chen886988  
       2h 56m ago via iPhone
    认知面太狭隘,整篇文章都是情绪化输出,没有任何事实数据逻辑可言
    tianhehechu
        74
    tianhehechu  
    OP
       2h 56m ago
    @williamz13 所以关键在分配
    tianhehechu
        75
    tianhehechu  
    OP
       2h 55m ago
    @KillPaul 你觉得不足可以补充,我抛砖引玉
    GoodbyeJerry
        76
    GoodbyeJerry  
       2h 54m ago
    真当 AGI 的时候,你的价值无限为 0 ,那么为啥要浪费 AIG 的算力给你。是现在的生产能力不足以给每人一部 Iphone18promax 吗?
    tianhehechu
        77
    tianhehechu  
    OP
       2h 53m ago
    @Danswerme 确实有逻辑矛盾,是我没说清楚。我想说的是,父母决定不植入的,成年后可自己决定是否植入。
    chen886988
        78
    chen886988  
       2h 51m ago via iPhone
    极度乐观主义者的情绪宣泄
    tianhehechu
        79
    tianhehechu  
    OP
       2h 50m ago
    @ybz 这是第三个需要担心的问题,但它不是 AI 本身造成的,是人性造成的。很可能会有阴暗的人,引导 AI 去做这种毁灭人类的事情。未来可能会有核不扩散之类的措施,对这种用途施加限制吧。
    tianhehechu
        80
    tianhehechu  
    OP
       2h 46m ago
    @QingXuJiaZhi 这是技术问题。LLM 耗费能源和算力,不意味着其他实现方式也这样。最终的 AGI ,不会像现在这样消耗能源和算力。LLM 可能称为 AGI 的外设,AGI 本身低能耗。我的对 AGI 低能耗的乐观,来自人脑这个低能耗的存在。
    tianhehechu
        81
    tianhehechu  
    OP
       2h 40m ago
    @zzxCNCZ token 要钱,是因为能源有限。AGI 实现了,人类可以让 AGI 实现可控核聚变,token 就不烧钱了。乃至脑机接口实现了,人类可以去开发火星、类地行星。
    QingXuJiaZhi
        82
    QingXuJiaZhi  
       2h 34m ago via Android
    @tianhehechu 讨论“最终的 AGI”这个东西没有意义。太遥远了,变数太多。这种终极幻想已经是科幻小说的领域,而且这个话题也早就被科幻小说无死角分析完了,任何可能性都讨论过了。
    Awes0me
        83
    Awes0me  
       1h 55m ago
    问题从来都不是生产力不够先进,是有人不想让你舒服的活着
    catazshadow
        84
    catazshadow  
       1h 49m ago via Android   ❤️ 1
    https://www.v2ex.com/t/1131868

    不会有 AGI

    LLM 确实会毁掉人类文明,人类文明是建立在对物质精确操作上的,靠概率的玩意跟这点是背道而驰。

    危险的地方在于人会将普通问题里对 LLM 的信任在无法实现验证的情况下扩展到其他不该信任的地方

    然后有一天造核反应堆的时候,LLM 说我这个堆芯控制器 99%的概率不会出问题。。。
    catazshadow
        85
    catazshadow  
       1h 45m ago via Android
    换个戏谑的说法,550W 里面绝对不会跑 LLM
    catazshadow
        86
    catazshadow  
       1h 39m ago
    再补一点,为什么打比方的论证方式要不得,是毁掉了整个民族的思考能力

    过去的技术进步包括织布机火车计算机,这些解决的是特定领域的问题,人不会因为觉得车子跑得比马快就会觉得车子能够算得比珠算快,这些工具解决的是特定问题

    LLM 不一样,LLM 这个工具被包装成了另外一种人格,在不少人的认知里 LLM 就是简化版的人:那 LLM 这种“人”在这个方面这么厉害,那它一定在所有方面都很厉害。这种思路就是上面说的在错误的地方信任这个靠概率的程序的原因

    两个例子本质上不一样,不能靠打比方思考。
    artiga033
        87
    artiga033  
       1h 14m ago via Android   ❤️ 1
    生产力会决定生产关系的,反对者都是站在今天的生产关系上去看待这个新的强大生产力。

    就像是你给封建地主一个联合播种收割机,它也只会说“你这东西不如我雇几个佃农可靠、实惠”之类的,农民们也只会说“这是抢我们的工作”。他们根本无法想象这种生产力本身就会颠覆生产关系,即社会化的大生产。
    sss393
        88
    sss393  
       55 mins ago   ❤️ 1
    看来 lz 还没失业,还有空畅想未来,让处于失业边缘还有家事的人畅想未来,有点对牛弹琴了
    wednesdayco
        89
    wednesdayco  
       45 mins ago   ❤️ 1
    @QingXuJiaZhi #68 你说的对,可以通过扩张来避免内卷.但是你要知道,你这个条件成立的前提是:使用人力,比 AI 算力便宜.靠 AI 算力的发展和机器人技术的发展,你觉得哪一方更有优势?我还是那句暴论,当老爷们不再需要耗材的时候,耗材慢慢也就消失了.
    QingXuJiaZhi
        90
    QingXuJiaZhi  
       34 mins ago via Android
    @wednesdayco 不用等 AGI ,就现在老爷们还需要多少耗材型人口?

    有了 AI 就不需要平民,很多人都这样说,但有一个关键问题,现在需要那么多平民吗?
    nanxiaonan
        91
    nanxiaonan  
       17 mins ago
    @chen886988 #78 你又是什么东西呢,看到这种云里雾里的,纯观点输出。自以为是的恢复感觉就像吃了屎一样让人恶心。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5772 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 110ms · UTC 06:36 · PVG 14:36 · LAX 23:36 · JFK 02:36
    ♥ Do have faith in what you're doing.