如果我告诉你如何让你的AI系统在相同的硬件上做将近10倍的工作,这对你来说有价值吗?

变形金刚-不仅仅是看到的

那么,我们如何让人工智能的效率提高十倍呢?嗯,数据压缩可以帮助我们在一个固定的空间存储更多的数据,所以让我们从这里开始。压缩可以帮忙吗?

流行的数字媒体压缩技术(如mp3、jpeg或h.265)都依赖于这样一种想法:自然信号(声音、照片、电影)是高度结构化和信息丰富的。信号中有可以被分离出来的信息。如果我们只关注具有最大信息内容的部分,我们可以丢弃其余部分,得到一个小得多的文件。这些“有损的”压缩技术可以导致1/10的文件th或者比原来的大小小一些——比用“无损”方法(例如.zip或. flac等特定媒体的例子)获得的1 / 2压缩比要好得多。

这种明显的魔力是通过1822年的数学方法实现的,约瑟夫·傅里叶发现复杂的波形可以被描述为其他几个简单谐波的总和。傅里叶变换(FT)取一个看似复杂的信号,并揭示其频率,如果把这些频率加在一起,就会重新构成原始信号。所有对原始信号不重要的其他频率都可以忽略。

像JPEG这样的图像压缩标准使用这种方法(在二维空间中),首先显示特定信息内容的频率,然后“丢弃”或将任何低于特定阈值的值归零。得到的小得多的数据集仍然可以用于(通过反傅里叶变换)重建原始图像,或与原始图像相似的图像。使用这些方法通常会将数据集压缩到原始大小的十分之一或更少。快速傅里叶变换(FFT)系统是计算机的一个重要组成部分。如果没有它们,你的iPod就不可能播放所有的mp3文件。

使用小波变换可以获得更有效的压缩。用外行人的话说,这些方法是在高频信号上“花费”更多的信息预算,而不是低频信号。其逻辑是低频信号的波长意味着信号中不可能有很多高频信号,而高频信号的波长越短意味着信号中可能有更多。小波的压缩比比简单的傅里叶变换要好得多,尽管压缩和解压缩文件需要额外的处理成本。

不管采用什么方法,压缩和质量之间都有联系。要压缩更多的文件并输出更小的文件,系统只需要设置一个阈值,在这个阈值上非零的值将被丢弃在一个更高的值上。然而,设置太高的阈值,质量就会开始下降——你的图像在未压缩时就会缺乏细节,或者你的mp3在回放时会听起来“浑浊”和不清晰。

它的核心思想是,大多数信号都可以表示为许多值在零或非常接近零,并且本质上是多余的。这些零填充表示被认为是“稀疏的”,只有一小部分值是相关的。

稀疏的人工智能

好的,但是有损压缩和AI之间有什么联系呢?人工智能是一个活跃的系统,而不仅仅是一个数据存储。

让我们想象一个基于神经网络的机器学习系统。它由几层神经元组成,每一层的每个神经元都与这一层的所有神经元相连。神经元之间的区别有两个方面:

  • 首先,神经元之间每一个连接的强度或“重量”是不相等的;和
  • 第二,每个神经元对某个特定的激活水平都有“偏见”或预先决定的倾向。

它是经过精心优化的权重和偏差模式,代表了一个训练有素的网络。

就像图像、声音或电影是高度结构化和信息丰富的,训练有素的人工智能也是如此。培训的过程实际上是一个优化创造信息内容的过程。在一个典型的卷积神经网络中,经过训练,网络中许多节点之间的链路的权值将会为零或接近零。相对较小的百分比的值将有意义地大于或小于零。网络中连接的权值表示将前一层神经元的激活值与后一层神经元的激活值相乘。因此,任何权值为零或接近零的都是网络中的“死连接”。任何数值乘以0都是零,即使一个完全激活的神经元通过一个非常低权重的连接也只能贡献很小的一部分。

运行带有所有这些零权重链接和非常低权重链接的AI是对计算资源的浪费。该系统最终执行了大量的计算,而这些计算的影响微乎其微。结果几乎肯定是由通过具有重要权重的链接的信号决定的。

一旦经过训练,如果所有非常低权重的连接都被排除并完全忽略,人工智能在生产中就可以更有效地使用。这可能会将神经元之间的连接数量减少到最初的很小一部分,可能是十分之一或更少。只有十分之一的处理链接,运行人工智能现在需要十分之一的计算能力——或者换句话说,你当前的硬件现在可以做十倍的能力。

只考虑一个例子——一家保险公司运行着一个由机器学习驱动的欺诈检测系统。原始(非稀疏)系统需要10台高功率服务器来处理所需的事务量。采用相同的人工智能模型,并通过删除零值和非常接近零值来对其进行稀疏修剪,结果会产生明显无法区分的结果,但现在只需要一个服务器来处理工作负载。由于运行模型的基础设施是在“基础设施即服务”云合同下采购的,因此部署稀疏模型所带来的逐月节省是非常可观的。

跨过门槛——稀疏性与规则相交的地方。

就像压缩一样,为之前训练过的AI设置过于激进的阈值可能导致妥协行为。在这种情况下,人工智能系统更倾向于错误的分类。

显然,透明度和可解释性将是即将出台的人工智能监管的重要原则。欧盟近期发表的AI草案规定,义务附加到任何“高风险”人工智能包括transparency-by-design严格要求、有效人力监督和AI是“准确、健壮、安全”(见第二章(文章地位)的人工智能监管——可以找到更多的细节在欧华律师事务所的AI监管手册金博宝188转账在这里).

对于运营商来说,让人工智能尽可能的稀疏显然是商业上的当务之急。一个更稀疏的系统需要更少的计算能力来运行,因此可以为客户提供更大的投资回报。这可能会导致一些热心的方法过度修剪/尽可能高地设置阈值。

不难看出,过于激进地试图让训练有素的人工智能变得稀疏可能会产生严重的后果。设置过高的阈值将删除可能影响人工智能决策的链接——尤其是在边缘情况下。虽然这些非常低的值权重单独可能很小,每一层有成千上万的神经元,但总体上的影响是显著的。在所有权重和链接完整的情况下,得到的(过度)稀疏人工智能对相同的输入产生显著不同的结果。如果是这样的话,任何为满足监管规定的透明度、准确性等要求而制作的材料都将是虚假的。类似地,由此产生的人力监督(至少)如果不是潜在的无效,也会更低效。

回到提议的法律框架,立法者似乎决心确保这一领域的法规具有真正的效力。最严重违反欧盟人工智能法规草案的罚款为集团营业额的6%,尽管对于许多违反高风险人工智能规则的人,罚款上限仍将是相当可观的4%。如果过度修剪危及人工智能,那么罚款可能会达到这样的水平,运营商需要确保他们非常仔细地评估一个稀疏的人工智能何时变得过于稀疏。

稀疏设计和培训

如果系统能够从一开始就设计成稀疏的,那么这些阈值问题中的一些可能会得到解决。首先训练整个网络,然后应用一个阈值,使其在训练后变得稀疏,从而在运行时创建一个更高效的人工智能,但在训练阶段并没有减少计算负担。到目前为止,训练人工智能是更密集的处理器活动。由于在一开始就找到了确定哪些链接是重要的方法,因此可以在训练阶段创建稀疏网络。这将大大提高效率。

虽然(在撰写本文时)我们仍然处于稀疏训练方法的相对早期阶段(谷歌的RigL(操纵彩票)方法是一个著名的例子),但看看它是如何发展的将会很有趣。在最好的情况下,稀疏训练可以帮助减少与积极修剪/阈值设置相关的监管风险。另一方面,由于目前的稀疏训练方法通常依赖于多个训练中期的剪枝活动,这些方法可能从准确性、透明度和可解释性的角度产生额外的挑战。

加入谈话。

我们将在欧洲科技峰会的“硬件复兴”小组讨论这一激动人心的时刻对人工智能和硬件的影响。想了解更多信息并注册参加峰会,请访问活动网站

你可以在我们的博客上找到更多来自DLA Piper团队关于硬件、人金博宝188转账工智能、系统集成和相关法律问题的观点技术的法律边缘

如果您想讨论本文中讨论的任何问题,请联系加雷斯·斯托克斯或者你通常的DLA Pipe金博宝188转账r联系人。