如果我告诉你如何让你的AI系统在相同的硬件上做将近10倍的工作,这对你来说有价值吗?

变形金刚-不仅仅是看到的

那么,我们如何让人工智能的效率提高十倍呢?嗯,数据压缩可以帮助我们在一个固定的空间存储更多的数据,所以让我们从这里开始。压缩可以帮忙吗?

流行的数字媒体压缩技术(如mp3、jpeg或h.265)都依赖于这样一种想法:自然信号(声音、照片、电影)是高度结构化和信息丰富的。信号中有可以被分离出来的信息。如果我们只关注具有最大信息内容的部分,我们可以丢弃其余部分,得到一个小得多的文件。这些“有损的”压缩技术可以导致1/10的文件th或者比原来的大小小一些——比用“无损”方法(例如.zip或. flac等特定媒体的例子)获得的1 / 2压缩比要好得多。

这种明显的魔法是使用数学的追溯到1822年的数学,而Joseph Fourier的实现可以将复杂的波形描述为几个其他简单谐波的总和。傅里叶变换(FT)采用看似复杂的信号,并揭示了该频率,如果一起添加,则将重新构建原始信号。然后可以忽略对原始信号不是必需的所有其他频率。

像JPEG这样的图像压缩标准使用这种方法(在二维空间中),首先显示特定信息内容的频率,然后“丢弃”或将任何低于特定阈值的值归零。得到的小得多的数据集仍然可以用于(通过反傅里叶变换)重建原始图像,或与原始图像相似的图像。使用这些方法通常会将数据集压缩到原始大小的十分之一或更少。快速傅里叶变换(FFT)系统是计算机的一个重要组成部分。如果没有它们,你的iPod就不可能播放所有的mp3文件。

使用小波变换可以获得更有效的压缩。在Layman的条款中,这些是“支出”在更高频率信号上的信息预算中的方法比较低频率更高的方法。逻辑是较低频率信号的波长意味着在信号中不能有许多它们,其中更高频率的较短波长意味着信号中可以更多地存在。小波将舒适地表达一个简单的傅里叶变换,用于压缩比,尽管以额外的处理成本压缩和解压缩文件。

不管采用什么方法,压缩和质量之间都有联系。要压缩更多的文件并输出更小的文件,系统只需要设置一个阈值,在这个阈值上非零的值将被丢弃在一个更高的值上。然而,设置太高的阈值,质量就会开始下降——你的图像在未压缩时就会缺乏细节,或者你的mp3在回放时会听起来“浑浊”和不清晰。

核心思想是,大多数信号都可以以方向表示,以显示许多值在或非常接近零,并且基本上是冗余的。这些含零填充的表示被认为是“稀疏”,只有较小的值百分比是相关的。

稀疏的人工智能

好的,但是有损压缩和AI之间有什么联系呢?人工智能是一个活跃的系统,而不仅仅是一个数据存储。

让我们想象一个基于神经网络的机器学习系统。它由几层神经元组成,每一层的每个神经元都与这一层的所有神经元相连。神经元之间的区别有两个方面:

  • 首先,神经元之间每个连接的强度或“重量”不相等;和
  • 第二,每个神经元对某个特定的激活水平都有“偏见”或预先决定的倾向。

它是经过精心优化的权重和偏差模式,代表了一个训练有素的网络。

就像图像、声音或电影是高度结构化和信息丰富的,训练有素的人工智能也是如此。培训的过程实际上是一个优化创造信息内容的过程。在一个典型的卷积神经网络中,经过训练,网络中许多节点之间的链路的权值将会为零或接近零。相对较小的百分比的值将有意义地大于或小于零。网络中连接的权值表示将前一层神经元的激活值与后一层神经元的激活值相乘。因此,任何权值为零或接近零的都是网络中的“死连接”。任何数值乘以0都是零,即使一个完全激活的神经元通过一个非常低权重的连接也只能贡献很小的一部分。

运行带有所有这些零权重链接和非常低权重链接的AI是对计算资源的浪费。该系统最终执行了大量的计算,而这些计算的影响微乎其微。结果几乎肯定是由通过具有重要权重的链接的信号决定的。

一旦经过训练,如果所有非常低权重的连接都被排除并完全忽略,人工智能在生产中就可以更有效地使用。这可能会将神经元之间的连接数量减少到最初的很小一部分,可能是十分之一或更少。只有十分之一的处理链接,运行人工智能现在需要十分之一的计算能力——或者换句话说,你当前的硬件现在可以做十倍的能力。

只考虑一个例子——一家保险公司运行着一个由机器学习驱动的欺诈检测系统。原始(非稀疏)系统需要10台高功率服务器来处理所需的事务量。采用相同的人工智能模型,并通过删除零值和非常接近零值来对其进行稀疏修剪,结果会产生明显无法区分的结果,但现在只需要一个服务器来处理工作负载。由于运行模型的基础设施是在“基础设施即服务”云合同下采购的,因此部署稀疏模型所带来的逐月节省是非常可观的。

穿过阈值 - 稀疏与调节相交的地方。

就像压缩一样,为之前训练过的AI设置过于激进的阈值可能导致妥协行为。在这种情况下,人工智能系统更倾向于错误的分类。

显然,透明度和可解释性将是即将出台的人工智能监管的重要原则。欧盟近期发表的AI草案规定,义务附加到任何“高风险”人工智能包括transparency-by-design严格要求、有效人力监督和AI是“准确、健壮、安全”(见第二章(文章地位)的人工智能监管——可以找到更多的细节在欧华律师事务所的AI监管手册金博宝188转账在这里).

操作员可以将AIS尽可能稀疏,这是一个明显的商业势在必行。更稀疏的系统需要较少的计算能力运行,因此可以为客户提供更大的投资回报。这可能导致一些近似地修剪/设置阈值尽可能高的方法。

不难看出,过于激进地试图让训练有素的人工智能变得稀疏可能会产生严重的后果。设置过高的阈值将删除可能影响人工智能决策的链接——尤其是在边缘情况下。虽然这些非常低的值权重单独可能很小,每一层有成千上万的神经元,但总体上的影响是显著的。在所有权重和链接完整的情况下,得到的(过度)稀疏人工智能对相同的输入产生显著不同的结果。如果是这样的话,任何为满足监管规定的透明度、准确性等要求而制作的材料都将是虚假的。类似地,由此产生的人力监督(至少)如果不是潜在的无效,也会更低效。

返回拟议的法律框架,立法者似乎确定确保在这个空间的规定有真正的牙齿。欧盟AI条例草案最严重违反违约的罚款设定为集团营业额的6%,尽管对于高风险AI规则的许多违反规则,上限将是一个仍然是4%的集团营业额的差别。对于那个尺寸的罚款,如果过度修剪妥协AI,则运营商将需要确保在稀疏AI变得过于稀疏时非常仔细地评估它们。

稀疏的设计和培训

如果系统能够从一开始就设计成稀疏的,那么这些阈值问题中的一些可能会得到解决。首先训练整个网络,然后应用一个阈值,使其在训练后变得稀疏,从而在运行时创建一个更高效的人工智能,但在训练阶段并没有减少计算负担。到目前为止,训练人工智能是更密集的处理器活动。由于在一开始就找到了确定哪些链接是重要的方法,因此可以在训练阶段创建稀疏网络。这将大大提高效率。

虽然(在撰写本文时)我们仍然处于稀疏训练方法的相对早期阶段(谷歌的RigL(操纵彩票)方法是一个著名的例子),但看看它是如何发展的将会很有趣。在最好的情况下,稀疏训练可以帮助减少与积极修剪/阈值设置相关的监管风险。另一方面,由于目前的稀疏训练方法通常依赖于多个训练中期的剪枝活动,这些方法可能从准确性、透明度和可解释性的角度产生额外的挑战。

加入谈话。

我们将在我们的“硬件文艺复兴时期”小组中讨论欧洲技术峰会的AI和硬件中这个激动人心的时期的影响。要了解更多并注册参加峰会,请访问活动网站

你可以在我们的博客上找到更多来自DLA Piper团队关于硬件、人金博宝188转账工智能、系统集成和相关法律问题的观点技术的法律边缘

如果您想讨论本文中讨论的任何问题,请与之联系加雷斯斯斯托克斯或者您通常的DLA Pipe金博宝188转账r联系。