越來越多人意識到，人工智慧聊天機器人並不總是可靠。它可能答非所問、前言不搭後語，有時甚至「一本正經」地捏造不存在的信息。
在1月下旬於新加坡舉行的第40屆人工智慧促進協會年會（The 40th Annual AAAI Conference on Artificial Intelligence）上，如何讓人工智慧更「靠譜」、更「負責」，是這場國際人工智慧學術會議的重要議題之一。
在研究者眼中，人工智慧的缺陷對應著更細分的問題。比如，人工智慧的置信度值是否與真實情況匹配等。一個來自義大利的研究團隊在本屆年會上提醒說，合理計算人工智慧的置信度值非常重要。
在這項名為「盲目自信的陷阱」的研究中，參與者在人工智慧協助下完成邏輯推理題。結果顯示，當人工智慧表現得非常自信時，參與者更容易採納它的建議——但這些建議很可能是錯的；然而，如果人工智慧猶豫不決，用戶卻可能會拒絕正確的建議。
義大利米蘭-比可卡大學的研究成員卡泰麗娜·弗雷戈西說，這兩種情況都反映了現實問題：很多人工智慧系統的置信度值沒有被正確校準，從而向使用者傳遞了誤導性的信號。
置信度值問題並非人工智慧可靠與否的唯一體現。另一項來自印度和美國團隊的研究，則從「認知疲勞」的角度，觀察人工智慧如何在不知不覺中變得不可靠。
美國南卡羅來納大學人工智慧研究所的研究成員里朱·瑪爾瓦說，隨著人類與聊天機器人對話時間越來越長，模型會開始「走神」：偏離原始指令、重複輸出內容，甚至以自信的口吻生成不可靠的信息。研究團隊將這種現象稱為「認知疲勞」，且它並非偶發，而是一種系統性效應。
「認知疲勞是可以被發現、預測並干預的。」瑪爾瓦說。團隊設計了一個系統，通過追蹤注意力衰減等三個關鍵指標，將人工智慧何時開始「疲勞」可視化，並提供多種實時干預手段，如當人工智慧開始偏離指令時，這套系統會重新輸入原始指令，讓對話回到「正確軌道」。
在大會現場，從單一的聊天機器人，到可以自主完成任務的智能體，再到多個智能體組成的協作網絡，研究者們不只關注它們的能力與效率，也反覆探討它們的邊界和可控性。
在不少參會者看來，完全放手讓智能體自主完成任務，遠沒有想像中簡單。
「目前，這些智能體的行動邊界非常寬，它們能寫代碼，可以在計算機上做我們能做的任何事情……所以，我們應該把研發重點轉向人類與智能體的協作，建立智能體與人類之間的透明交互，這具有現實緊迫性。」美國微軟人工智慧前沿實驗室主任埃傑·卡馬爾說。
微軟首席科學官埃里克·霍維茨認為，當前種種不確定性，與人類尚未完全理解人工智慧內部運作機制密切相關。
在23日的歷任主席對談會上，他說：「今天的人工智慧表現令人驚訝。我說『驚訝』，是因為我們仍無法給出令人滿意的科學解釋：它們為何如此高效？如何失敗？在哪些方面脆弱？對人工智慧內部機制和原理的系統性科學探索，現在變得非常緊迫。我們必須打開這個『黑箱』。」
AAAI-2026首次落地新加坡
人工智慧促進協會年會（AAAI Conference on Artificial Intelligence）是人工智慧領域歷史最悠久、影響力最大的國際學術會議之一，長期被視為全球人工智慧基礎研究和前沿方向的重要風向標。 本屆大會在新加坡舉行，會議議題涵蓋人工智慧安全、可靠性、倫理治理、人機協作以及自主智能體等多個方向，反映了當前全球學界對人工智慧「能力之外」的高度關注。
