在36000英尺大西洋写这篇文章的坐着,我知道不寻常的传统使用的短语“黑盒子”的:飞机的飞行数据记录器,也让研究人员了解应该最坏会怎么样偏差去。这似乎很奇怪,一个装置,其目的是提供一个解释应该经常在为无法解释的一个比喻来调用。

我们被告知,AI的决策必须是根本不可知的;该输入和输出之间的链接永远只能被给定为基于在作出该被判断为是正确的先前的决定其相对成功的经验测量的概率。这是一个黑盒子,我们永远无法窥视AI的特性已经获得了货币,然后可怕的后果列举。

我们如何使用AI在高度管制的行业(生命科学,金融服务,保险等),如果我们不能了解它来做决定?我们怎样才能确保系统不反映偏见,我们宁愿脱落,并使歧视性的决定?我们怎样才能赶上“不公平”的决定,如果我们不理解本身决定的依据是什么?

我们怎样才能确保系统不反映偏见,我们宁愿脱落,并使歧视性的决定?

最先进的人工智能 - 因此最容易受到这种explainability挑战 - 依靠深层神经网络的形式。通常,这些系统依赖于链接在一起的多个独立的神经网络中,一组的输出被馈送到下一个作为输入。

一个相对简单的描述模型可能是图像识别系统。If all you want to do is recognise pictures of handwritten numbers in black ink on a white page and characterise them as ‘0’, ‘1’, ‘2’ and so on to ‘9’, then a single neural network will be more than up to the task. A classic CompSci problem, the canonical solution will see pixel brightness values forming the input layer, a couple of hidden layers with tuned weighting for the links between layers, and an output layer with the 10 digit values.

假设在隐藏层神经元的合理数量的,比方说在每128之后,该系统已经被训练将在正确的分类对数字图像,甚至为我相当难以辨认笔迹达到较高的精度。我们可以解释它是如何做到这一点,虽然,还是一个不可知的黑盒子?

“看”是怎么回事。将图形如何在网络的训练已经反映在神经元之间的联系的权重的一种方法。在一个典型的神经网络的神经元之间的联系的所有值将是最低的-1.0,最高为+1.0之间。If the values of all the weights are turned into an image with any positive weightings represented in the red channel of a pixel’s colour value, and any negative weightings reversed and represented in the blue channel, you would get an image with “hot and cold” spots representing the weights of connections that are relatively more significant to the decision. Combined with the values in the original image, these ‘hot spots’ and ‘cold spots’ can be mapped back to areas of the original input image to highlight those areas that the system has identified as containing important features.

这不是简单的理论。这种精确询问网络的方法来发现它的“热”与“冷”的特点是用于诊断“故障”的决定。从图像识别系统,一个有趣的例子来关注,这是一贯正确,但被标记为狼,即使画面中的狗是明显另一品种的图像狗的品种进行排序。在检查的热图,研究人员可以看到,该系统是由狗自身的功能不会被触发,而是由背景,在显著功能的热图,其“点亮”。有问题的照片拍摄对一个多雪的背景。事有凑巧,所有的狼的训练图像也是在雪地里 - 这样的系统已经关联雪与“狼”,而不是在图像中动物的任何特征。

可以在相同的方式工作,其中一个深层神经网络的参与,但?这里,代替图像供给到其必须同时为了使该决定提取特征和重量的那些特征的单个神经网络,网络的链都参与。从一个神经网络进到下一个输出。

我们的图像识别例如坚持,如果我们要找出比一些手写的数字更多,如果训练了与大相径庭图片浩如烟海的单一神经网络很快就会变得不准确。如果我们要识别的功能非常广泛的阵列,需要不同的方法。可在图像识别任务击败人类的类型深层神经网络趋于图像分成更小的部分,它被送入训练查出边缘神经网络。边缘检测的跨越重叠区域的结果被馈送到第二组,其识别(从“方形”到“眼睛”的所有内容)的形状和特征的网络。最后,一个第三网络需要从这些特征的输出,并使用它们用于最终鉴定。

违反直觉,而深层神经网络是幅度更复杂,比我们的手写例如单个神经网络更强大的订单,这可以说是比较容易理解的决策过程。神经元之间的转换权重的相同的技术适用于深神经网络内的每个单独的网络,但由于后来的网络与概念的工作,我们可以更容易地理解(边缘 - >线 - >椭圆和圆 - >眼 - 邻近各两只眼睛其他 - >面 - >人类)的决定往往是在过程中的后面的步骤更可解释。

代表其他类型可能会以同样的方式被用于AI决策的数据需要更多的想象力。将热映射到图像很容易想象,但对于信用卡申请资料,或血液测试结果的模式,或精算数据?同样的方法在这里工作过。使用热图的方法来检查系统是否按预期执行,并解锁“黑盒子”,显著有助于克服这些法律和监管挑战。

这是永远不会匹配真正的全explainability“如果那么”传统的计算机程序,但它是远远准确表征AI的功能为完全不可知。

Explainability是在议程监管机构和立法者一样的顶部,当谈到AI。在英国,政府对上议院的报告“AI在英国?:准备,愿意并且能够”非常积极的回应同意绝大多数建议。这包括对算法透明度的承诺,与提供相同程度的explainability的传统计算机程序的困难的确认平衡。最近欧盟的报告“进行可信赖的AI伦理指导原则”,使类似点。当中道德AI七个关键要求,两(透明度和问责制)直接涉及AI系统的explainability。

总是会有成果的实证检验的一定水平的地方,检查的决定对齐的符合预期的基础上,但它远不是唯一的方法。In fact with the ability to use techniques like those outlined above to map the decision making criteria in this way, deep neural networks are ultimately far more explicable than human decision making – where biases, intuitions, and random ‘gut feel’ is often the subject of retrospective justification on other grounds if the decision is ever challenged.

不过现在,我安慰的是无论是在AI或在航空,黑匣子可以在explainability帮助。我只是希望,不需要对的账面我现在飞机的黑匣子...

欲了解更多关于人工智能,机器学习,深层神经网络以及法律和监管问题是在他们接触,一起去10月15日在伦敦DLA Piper律师事务所的欧洲技术峰会。金博宝188转账更多细节在这里。