snw
V2EX  ›  问与答

为啥几家免费 AI 会不约而同答错呢?

  •  
  •   snw · 9h 48m ago via Android · 1048 views

    测试的 AI

    • Kimi 快速,进阶思考(可能部分降级到了快速)
    • 元宝的 DeepSeek 的深度思考
    • 千问的思考研究
    • Gemini Flash-Lite

    问题

    1. Power BI 的 DAX 公式里,怎样计算 Data 表 Customer 列有多少个客户?
    2. 我要计算的是不重复且非空值的客户数

    结果

    以上三个都回答用 DISTINCTCOUNT()函数,并且第一次回答都告诉我这个函数会排除空值,所以不需要额外处理。质疑之后,元宝和千问认错,Kimi 还继续嘴硬,甚至编造官方文档引文:

    继续叫它提供这段引文的出处才认错。

    疑惑

    因为这是个非常基础的问题,所以期待是即使是免费快速模式不查外部资料也可以直接回答。
    我知道如果训练资料没有的话 AI 就会瞎猜,但照理来说就算瞎猜这个函数是否排除空值,至少也有一半概率猜对,然而这几个 AI 这么肯定认为这函数不计空值,到底是从哪里得到的错误认知?是互相蒸馏后强化了这个错误答案吗?

    解决这个问题的正确方法是用付费版本的 AI 吗?付费版的 AI 如果训练资料涵盖了某块知识但有错误,会认为无需查证即可直接回答,然后答错吗?

    10 replies    2026-08-30 01:15:07 +08:00
    mechunjun
        1
    mechunjun  
       9h 43m ago
    可以反馈给官方
    billlee
        2
    billlee  
       9h 4m ago
    试着复现了一下,“元宝的 DeepSeek 的深度思考”, “千问的思考研究”,Gemini 3.5 Flash-Lite, 直接发送你的“问题”里的两句话,deepseek 和 gemini 都直接给出用 DISTINCTCOUNTNOBLANK 的方案。

    千问把这两句话当成了两个问题,对第二个问题给出了“DISTINCTCOUNT 天然排除空值( BLANK )”的说法,质疑后开始搜索并改过来了。

    所以是不是你的上下文引入了什么错误资料?
    Tory12138
        3
    Tory12138  
       8h 15m ago   ❤️ 1
    没想到在 v2 还能看到 dax ,我之前苦学了好久,我觉得主要还是 ai 很难理解 powerbi 的底层逻辑,这方面的学习又不像编程学的那么多,把那个 dax 权威指南还有 powerbi 官方文档都丢给 ai 学然后再输出看一下
    snw
        4
    snw  
    OP
       7h 29m ago via Android
    @billlee
    我是直接从新对话开始这的,注意是先问第一句,等 AI 回答后再问第二句。

    并非所有支持 DAX 语言的应用都支持 DISTINCTCOUNTNOBLANK ,所以我才想确认 DISTINCTCOUNT 到底算不算空值
    amoia50
        5
    amoia50  
       7h 29m ago   ❤️ 1
    有几个方式解决:
    1 、问问题时加上联网查询验证,给出可以人工验证的方法;
    2 、rag ,提供 power bi 官方资料;
    3 、模型对 power bi 官方资料进行后训练,不需要联网;
    snw
        6
    snw  
    OP
       7h 15m ago via Android
    @Tory12138
    我觉得单纯是这些 AI 不重视 DAX 的语料,没喂过微软官方资料。我的这个问题甚至不需要看 DAX 权威指南这种进阶教程,只需要查一下 Microsoft Learn 上面的 DAX 的函数说明就可以,里面甚至专门 Remark 了一段:

    “DISTINCTCOUNT function counts the BLANK value. To skip the BLANK value, use the DISTINCTCOUNTNOBLANK function.”

    https://learn.microsoft.com/en-us/dax/distinctcount-function-dax
    paopjian
        7
    paopjian  
       7h 0m ago   ❤️ 1
    没有文档上下文就还是要求他们联网列证据吧, 你看到的就是模型幻觉问题, 越短的问题要求的隐含知识量越大, 你觉得是基础问题, AI 可没有这经验
    snw
        8
    snw  
    OP
       6h 44m ago via Android
    @paopjian
    因为 Kimi 即便快速回答也会显示个思考框,而且会显示类似于搜索关键词一样的几个词,所以我下意识以为 Kimi 调用了搜索。后来仔细看才发现 Kimi 的思考和联网搜索是两种不同的框。
    billlee
        9
    billlee  
       4h 33m ago
    @snw 既然一起发送 prompt 能返回 DISTINCTCOUNTNOBLANK, 那就说明预训练里是见过这个的。分开发送会出问题更像是小规模模型的上下文锚定问题了:因为上下文出现过 DISTINCTCOUNT, 就锁死在这上面了。
    zerovoid
        10
    zerovoid  
       1h 43m ago
    kimi 的快速模式非常蠢,而且还限额,已经被我彻底抛弃了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1020 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 18:58 · PVG 02:58 · LAX 11:58 · JFK 14:58
    ♥ Do have faith in what you're doing.