越来越多人意识到，人工智能聊天机器人并不总是可靠。它可能答非所问、前言不搭后语，有时甚至“一本正经”地捏造不存在的信息。
在1月下旬于新加坡举行的第40届人工智能促进协会年会（The 40th Annual AAAI Conference on Artificial Intelligence）上，如何让人工智能更“靠谱”、更“负责”，是这场国际人工智能学术会议的重要议题之一。
在研究者眼中，人工智能的缺陷对应着更细分的问题。比如，人工智能的置信度值是否与真实情况匹配等。一个来自意大利的研究团队在本届年会上提醒说，合理计算人工智能的置信度值非常重要。
在这项名为“盲目自信的陷阱”的研究中，参与者在人工智能协助下完成逻辑推理题。结果显示，当人工智能表现得非常自信时，参与者更容易采纳它的建议——但这些建议很可能是错的；然而，如果人工智能犹豫不决，用户却可能会拒绝正确的建议。
意大利米兰-比可卡大学的研究成员卡泰丽娜·弗雷戈西说，这两种情况都反映了现实问题：很多人工智能系统的置信度值没有被正确校准，从而向使用者传递了误导性的信号。
置信度值问题并非人工智能可靠与否的唯一体现。另一项来自印度和美国团队的研究，则从“认知疲劳”的角度，观察人工智能如何在不知不觉中变得不可靠。
美国南卡罗来纳大学人工智能研究所的研究成员里朱·玛尔瓦说，随着人类与聊天机器人对话时间越来越长，模型会开始“走神”：偏离原始指令、重复输出内容，甚至以自信的口吻生成不可靠的信息。研究团队将这种现象称为“认知疲劳”，且它并非偶发，而是一种系统性效应。
“认知疲劳是可以被发现、预测并干预的。”玛尔瓦说。团队设计了一个系统，通过追踪注意力衰减等三个关键指标，将人工智能何时开始“疲劳”可视化，并提供多种实时干预手段，如当人工智能开始偏离指令时，这套系统会重新输入原始指令，让对话回到“正确轨道”。
在大会现场，从单一的聊天机器人，到可以自主完成任务的智能体，再到多个智能体组成的协作网络，研究者们不只关注它们的能力与效率，也反复探讨它们的边界和可控性。
在不少参会者看来，完全放手让智能体自主完成任务，远没有想象中简单。
“目前，这些智能体的行动边界非常宽，它们能写代码，可以在计算机上做我们能做的任何事情……所以，我们应该把研发重点转向人类与智能体的协作，建立智能体与人类之间的透明交互，这具有现实紧迫性。”美国微软人工智能前沿实验室主任埃杰·卡马尔说。
微软首席科学官埃里克·霍维茨认为，当前种种不确定性，与人类尚未完全理解人工智能内部运作机制密切相关。
在23日的历任主席对谈会上，他说：“今天的人工智能表现令人惊讶。我说‘惊讶’，是因为我们仍无法给出令人满意的科学解释：它们为何如此高效？如何失败？在哪些方面脆弱？对人工智能内部机制和原理的系统性科学探索，现在变得非常紧迫。我们必须打开这个‘黑箱’。”
AAAI-2026首次落地新加坡
人工智能促进协会年会（AAAI Conference on Artificial Intelligence）是人工智能领域历史最悠久、影响力最大的国际学术会议之一，长期被视为全球人工智能基础研究和前沿方向的重要风向标。 本届大会在新加坡举行，会议议题涵盖人工智能安全、可靠性、伦理治理、人机协作以及自主智能体等多个方向，反映了当前全球学界对人工智能“能力之外”的高度关注。
