但汤普森惊讶地发现，该电路所用元件数量比任何人类工程师的设计都要少，甚至有几个元件根本没有和其它元件相连。而要让电路顺利运作，这些元件应当不可或缺才对。

于是他对电路进行了剖析。做了几次实验后，他发现该电路的相邻元件间存在微弱的电磁干扰。未与电路相连的元件通过干扰邻近电场、对整个电路造成了影响。人类工程师通常会杜绝这类干扰，因为干扰的结果难以预料。果不其然，若用另一组元件复制该电路布局，甚至只是改变环境温度，同样的电路便会彻底失灵。

该电路揭露了机器训练的一大重要特征：它们总是尽可能紧凑简洁，与所在环境完美相容，但往往难以适应其它环境。它们能抓住工程师发现不了的规律，但不知道别处是否也有这一规律。机器学习研究人员想尽力避免这种名为“过拟合”的现象。但随着应用这些算法的情况愈发复杂多变，这一缺陷难免会暴露出来。

普林斯顿大学计算机科学教授桑吉夫·阿罗拉认为，这一问题是人类追求可解释模型的主要动机，希望有了可解释模型后、能对网络进行干预和调整。距阿罗拉表示，有两大问题可体现缺乏可解释性对机器性能造成的硬性限制。一是“组合性”：当一项任务同时涉及多项决策时（如围棋或自动驾驶汽车），神经网络便无法高效判定是哪个决策导致了任务失败。“人类在设计某样东西时，会先弄清不同元件的作用，再将其组合在一起，因此能够对不适合当前环境的元件进行调整。”

二是阿罗拉所称的“域适应性”即将在某种情境中学到的知识灵活运用于其它情境的能力。人类非常擅长这项任务，但机器则会出现各种离奇错误。据阿罗拉描述，即使只对环境做了微调、人类调整起来不费吹灰之力，计算机程序也会遭遇惨败。例如，某个网络经过训练后、能对维基百科等正式文本的语法进行分析，但如果换成推特这样的口语化表达，就会变得毫无招架之力。

按这样来看，可解释性似乎不可或缺。但我们真的理解它的意思吗？著名计算机科学家马文·闵斯基用“手提箱词汇”来形容这类词汇，包括“意识”、“情绪”等用来描述人类智能的单词。闵斯基指出，这些词其实反映了多种多样的内在机制，但都被锁在“手提箱”中。一旦我们用这些词代替了更根本性的概念、仅对这些词汇进行研究，我们的思维就会被语言所局限。那么在研究智能时，“可解释性”会不会也是这样一个“手提箱词汇”呢？

虽然很多研究人员都持乐观态度，认为理论学家迟早能打开这个“手提箱”、发现某套主宰机器学习（或许也包括人类学习）的统一法则或原理，就像牛顿的力学原理一样。但也有人警告称，这种可能性微乎其微。纽约城市大学哲学教授马西莫·皮戈里奇指出，神经科学、乃至人工智能领域所谓的“理解”也许是一种“集群概念”，即可能有多个不同定义。如果该领域真的有“理解”之说，也许相对于物理学、会更接近进化生物学的情况。也就是说，我们将发现的也许不是“基本力学原理”，而是“物种起源学说”。

当然，这并不意味着深度网络将预示着某种新型自主生命的出现。但深度网络就像生命本身一样费解。该领域采用的渐进式实验手段和事后解读方式也许并不是在黑暗中苦苦等待理论之光时的绝望情绪，而是我们能够盼来的唯一光芒。可解释性也许会以碎片化的形式呈现出来，就像不同类别的“物种”一样，采用的分类法则根据具体情境而定。

在国际机器学习大会的专题研讨会结束时，部分发言人参加了一场讨论会，试图给“可解释性”下一个定义。结果每个人都各执一词。进行了一系列讨论后，大家似乎达成了一点共识：一个模型要能被解释，就要具备“简单性”。但在简单性的定义问题上，大家又产生了分歧。“最简单”的模型究竟是指依赖最少特征的模型？还是程序规模最小的模型？还是有其它解释？一直到研讨会结束，大家都没有达成共识。

正如马里奥托夫说的那样：“简单性并不简单。”

每日一篇人工智能文章，还有技术文章同步发布，喜欢的朋友可以关注一下，