随着自主系统和人工智能在日常生活中变得越来越普遍，新的方法正在出现，帮助人类检查这些系统是否按预期运行。一种方法是形式化规范，它使用可以翻译成自然语言表达式的数学公式。

一些研究人员声称，这种方法可以以人类可以解释的方式阐明人工智能将做出的决定。

麻省理工学院林肯实验室的研究人员想要验证这种可解释性的说法。他们的发现表明了相反的观点：正式规范似乎无法被人类解释。

在该团队的研究中，参与者被要求检查人工智能代理的计划是否会在虚拟游戏中成功。当看到计划的正式说明时，参与者的正确率不到一半。

“对于那些一直声称形式化方法赋予系统可解释性的研究人员来说，结果是个坏消息。在某些有限和抽象的意义上，这可能是正确的，但对于任何接近实际系统验证的东西来说，这可能是正确的。”该实验室人工智能技术小组的研究员HoseaSiu说道。

可解释性很重要，因为它让人类在现实世界中使用机器时能够信任机器。如果机器人或人工智能可以解释其行为，那么人类就可以决定是否需要调整或可以相信它会做出公平的决定。可解释的系统还使技术用户(而不仅仅是开发人员)能够理解并信任其功能。

然而，可解释性长期以来一直是人工智能和自治领域的一个挑战。机器学习过程发生在“黑匣子”中，因此模型开发人员通常无法解释系统为何或如何做出特定决策。

“当研究人员说‘我们的机器学习系统是准确的’时，我们会问‘有多准确?’以及“使用什么数据?”如果未提供该信息，我们将拒绝索赔。当研究人员说‘我们的机器学习系统是可解释的’时，我们还没有做那么多，我们需要开始对这些说法进行更严格的审查，”Siu说。

迷失在翻译中

在他们的实验中，研究人员试图确定正式规范是否使系统的行为更容易解释。他们关注人们使用此类规范来验证系统的能力，即了解系统是否始终满足用户的目标。

为此目的应用正式规范本质上是其原始用途的副产品。形式化规范是更广泛的形式化方法集的一部分，这些形式化方法使用逻辑表达式作为数学框架来描述模型的行为。

由于模型是建立在逻辑流程上的，因此工程师可以使用“模型检查器”以数学方式证明有关系统的事实，包括系统何时可能或不可能完成任务。现在，研究人员正尝试使用相同的框架作为人类的翻译工具。

“研究人员混淆了正式规范具有精确语义和人类可以解释的事实。这些不是同一件事，”Siu说。“我们意识到几乎没有人会检查人们是否真正理解输出。”

在该团队的实验中，参与者被要求通过玩夺旗游戏的机器人来验证一组相当简单的行为，基本上回答了“如果机器人完全遵循这些规则，它总是会赢吗?”的问题。

参与者包括正式方法方面的专家和非专家。他们通过三种方式收到正式规范：“原始”逻辑公式、翻译成更接近自然语言的单词的公式以及决策树格式。在人工智能领域，决策树通常被认为是一种人类可解释的方式来显示人工智能或机器人决策。

结果：“总体而言，验证性能非常糟糕，无论呈现类型如何，准确率都在45%左右，”Siu说。

确信错误

那些之前接受过正式规范培训的人只比新手做得稍好一些。然而，专家们表示，无论答案是否正确，他们对自己的答案都更有信心。总的来说，人们倾向于过度相信摆在他们面前的规范的正确性，这意味着他们忽略了允许游戏失败的规则集。

研究人员表示，这种确认偏差对于系统验证尤其重要，因为人们更有可能忽视故障模式。

“我们认为这个结果并不意味着我们应该放弃正式规范作为向人们解释系统行为的方式。但我们确实认为，在如何向人们展示它们以及人们使用它们的工作流程方面还需要做更多的工作，”Siu补充道。

在考虑为什么结果如此糟糕时，Siu认识到，即使是使用正式方法的人也没有接受过按照实验要求检查规格的培训。而且，思考一套规则的所有可能结果是很困难的。

即便如此，向参与者展示的规则集很短，相当于不超过一段文本，“比你在任何真实系统中遇到的任何内容都短得多，”Siu说。

该团队并没有试图将他们的结果直接与人类在现实世界的机器人验证中的表现联系起来。相反，他们的目标是使用结果作为起点，考虑形式逻辑社区在声称可解释性时可能会遗漏什么，以及这些主张在现实世界中如何发挥作用。

这项研究是Siu和队友正在进行的一个更大项目的一部分，该项目旨在改善机器人和人类操作员(尤其是军队操作员)之间的关系。机器人编程的过程通常会让操作员脱离困境。

出于提高可解释性和信任度的类似目标，该项目试图让操作员以类似于训练人类的方式直接向机器人教授任务。这样的过程可以提高操作员对机器人的信心和机器人的适应性。

最终，他们希望这项研究的结果和他们正在进行的研究能够更好地应用自主权，因为它越来越融入人类生活和决策中。

Siu补充道：“我们的研究结果表明，在人们对某些系统以及自主和人工智能的实用性做出太多主张之前，有必要对它们进行人类评估。”

版权说明：本站所有作品图文均由用户自行上传分享，仅供网友学习交流。若您的权利被侵害，请联系我们

标签：