会开发AI的AI：超互联网有望让深度学习大众化

数学静态是这样的。示意图；也因特网从任何只能可用性的构造（称其为候选构造）开始，然后尽最大期望分析候选构造的令人满意常量。接着将实际神经因特网的常量设置为分析倍数，用给定可执行对其展开飞行测试。Ren 的工作团队显然，这种方法有可用于来对候选构造展开位居，并选择观感最佳的构造。

当 Knyazev 和他的助手想用示意图；也因特网这个期望时，他们发现自己可以在此基础上进一步技术开发。在他们的上新篇社论全都，这支工作团队重现了 GHN 的用语，不仅可以用来从一组样本全都发现最佳的构造，还可以分析不确因特网的常量，让因特网观感出绝对意义上的好。在其全都的不确还没有达到不确的可能下，还可以并用分量降低进一步军事训练该因特网。

在谈到这项上新文书工作时，Ren 对此：“这篇篇社论更加底子，全都面举例来说的实验比我们相比之下。他们在更加期望地提高示意图；也因特网的绝对观感，这是我们所亦然的。”

Knyazev和他的工作团队将自己的；也因特网称为是 GHN -2，这种因特网从两个不可或缺不足之处加以改进了Ren及其助手紧密结合的示意图；也因特网。

首先，他们只能依赖 Ren 等人的系统设计，用示意图来对此神经因特网构造。该示意图全都面的每个终端都举例来说有关于可执行特定类别推算的神经元闭包的编码讯息。示意图的边则描述了讯息是如何从一个终端搬另一终端，如何从转换成搬输出的。

他们独有的第二个期望是一种方法有，军事训练；也因特网来分析上取而代之候选构造的方法有。这只能用到另另有两个神经因特网。第一个用来重启对原始候选示意图的推算，不够上新与每个终端特别的讯息，第二个把不够上新过的终端作为转换成，然后分析候选神经因特网也就是说推算静态的常量。这两个因特网也有自己的常量，在；也因特网都能正确分析常量倍数之前，只能对这两个因特网展开可用性。

为此，你得军事训练原始数据——在本例子全都，原始数据就是无论如何的人工神经因特网（ANN）构造的随机样本。对于样本的每一个构造，你都要从示意图开始，然后用示意图；也因特网来分析常量，并并用分析的常量对候选 ANN展开调用。然后该ANN但会可执行一些特定可执行，如辨认一张示意图形。通过推算该ANN的伤亡数组来不够上新得出结论分析的；也因特网的常量，而不是不够上新该ANN的常量以便得出结论不够好的分析。这样以来，该；也因特网下一次就能认真得不够好。今日，通过遍历其余部分标明军事训练示意图形原始数据集的每一张示意图形，以及随机样本构造全都面的每一个ANN，一步步地下降伤亡，方才也就是说。到了一定时候，你就可以给予一个军事训练好的；也因特网。

由于Ren 的工作团队没有公开他们的自由软件，所以Knyazev 的工作团队采用上述期望自己本来写出软件。然后Knyazev及其助手在此基础上有所加以改进。首先，他们已确定了 15 种类别的终端，这些终端混合搭配可紧密结合几乎任何的传统意义高度神经因特网。在提高分析准确性不足之处，他们也夺得了一些进展。

最不可或缺的是，为了确保 GHN-2 能学但会分析各种都能神经因特网构造的常量，Knyazev 及其助手创建了一个举例来说 100 万种无论如何构造的独特原始数据集。Knyazev 说道：“为了军事训练我们的静态，我们创建了尽量专业化的随机构造”。

因此，GHN-2 的分析都能很有无论如何可以很好地众所周知到可能的都能构造。Google Research的Brain Team研究成果科学家 Thomas Kipf 说道：“同样，人们可用的各种典型的最先进构造他们都可以推论，这是一大重大贡献。”

当然，真正的考验是让 GHN-2 能用起来。一旦 Knyazev 和他的工作团队军事训练好这个因特网，让它可以分析给定可执行（同样对特定原始数据集的示意图形展开形态学）的常量之后，他们开始飞行测试，让这个因特网给随机挑选的候选构造分析常量。该上取而代之候选构造与军事训练原始数据集上百万构造总括的某个也许具备相近的属性，也无论如何极为相同——看似算是这群人。在前一种可能下，都能构造可认为统称产于之内；若是后者，则统称产于范围另有。高度神经因特网在对后者展开分析时通常但会失败，所以用这类原始数据飞行测试 GHN-2 更加不可或缺。

借助经过上半年军事训练的 GHN-2，该工作团队分析了 500 个以前全都的随机都能因特网构造的常量。然后将这 500 个因特网（其常量设置为分析倍数）与可用随机分量降低军事训练的相同因特网展开对比。上取而代之；也因特网并不一定可以抵御数千次 SGD 渐进，有时甚至认真得不够好，尽管有些结果不够加比较简单。

借助军事训练好的 GHN-2 静态，该工作团队分析了 500 个之前可能的随机都能因特网构造的常量。然后将这 500 个（常量设置为分析倍数的）因特网与并用随机分量降低军事训练的同一因特网展开对比。尽管其余部分结果有好有坏，但上取而代之；也因特网的观感通常可以跟数千次 SGD 渐进的结果不相上下，有时甚至是不够好。

对于示意图形原始数据集 CIFAR-10 ，GHN-2 用于产于之内的构造给予的平均准确度为 66.9%，而用经过近 2500 次 SGD 渐进军事训练出来的因特网，其平均准确度为 69.2%。对于不出产于之内的构造，GHN-2 的观感则出人意料地好，准确度达到了大约 60%。相比较是，对一种知名的特定高度神经因特网架构， ResNet-50， GHN2的准确度达到了 58.6% 这是相当可观的。在本领域的顶级但全体会议 NeurIPS 2021 上，Knyazev说道：“鉴于 ResNet-50 比我们一般军事训练的构造大了有大概 20 倍，可以说道众所周知到 ResNet-50 的特性好在地好。”。

不过GHN-2 应用到 ImageNet 上却观感不佳。ImageNet 这个原始数据集规模更大。平均而言，它的准确度只有 27.2% 大概。尽管如此，跟经过 5000SGD 渐进军事训练的同一因特网相比，GHN-2的观感也要好一些，后者的平均准确度只有 25.6%。 （当然，如果你继续用 SGD 渐进的话，你再一可以实现95% 的准确度，只是成本但会更加高。）最关键性的是，GHN-2 是在不到一秒的小时内对ImageNet 得出结论了常量分析，而如果用 SGD 在GPU上分析常量，要想达到都只的观感，耗时的平均小时要比 GHN-2 要多 10000 倍。

Veličković说道：“结果绝对是看似印象深刻印象。完全他们已经更加大地降低了核能成本。”

一旦GHN-2 从结果样本全都为特定可执行推选了最佳的神经因特网，但这个因特网观感还不够好时，至少该静态已经过了其余部分军事训练，而且可以还进一步可用性了。与其对用随机常量调用的因特网展开 SGD，不如以 GHN-2 的分析作为起点。Knyazev 说道：“完全我们是在与众不同未及军事训练”。

尽管夺得了这些出乎意料，但Knyazev 认为刚开始的时候数据处理社区但会杯葛可用示意图；也因特网。他把这种湍流拿来跟 2012 年之前高度神经因特网的遭遇相比拟。以前，数据处理从业者不够喜欢人工另有观设计的方法有，而不是神秘的高度因特网。但是，当用大量原始数据军事训练出来的大型高度因特网开始；也越有别于方法有时，可能开始逆转。Knyazev ：“；也因特网也无论如何但会走到上都只的道路。”

与此同时，Knyazev 认为还有很多的加以改进机但会。同样，GHN-2 才会军事训练来分析常量，去解决给定的可执行，比如对 CIFAR-10 或 ImageNet 全都面的示意图形展开形态学，但不能同时可执行各不相同的可执行。短期内，他想法可以用不够加专业化的结果以及各不相同类别的可执行（如示意图形辨认、口语辨认与人为语言处置）来军事训练示意图；也因特网。然后同时根据都能构造与手头的特定可执行来得出结论分析。

如果这些；也因特网无论如何能出乎意料的话，那么上取而代之高度神经因特网的另有观设计和技术开发，将才会是有钱和都能访问大原始数据的公司的专利技术了。任何人都可以参予其全都。Knyazev 更加清楚这种“让高度深造普罗大众”的潜力，称之为仍然愿景。

然而，如果像GHN -2 这样的；也因特网就让被选为可用性神经因特网的标准方法有， Veličković强调了一个潜在的大疑问。他说道，对于示意图；也因特网，“你有一个神经因特网——表象上是一个黑盒子——分析另一个神经因特网的常量。所以当它出确时，你反常[它]。”

不过，Veličković 强调，如果类似 GHN-2 这样的；也因特网就让被选为可用性神经因特网的标准方法有的话，无论如何但会有一个大疑问。他说道：“你但会给予一个完全是个台大学生的神经因特网，然后再用示意图；也因特网去分析另一个神经因特网的常量。如果它出确，你没法推论确在哪全都。”

当然，神经因特网完全也是这样。Veličković说道：“我不但会说道这是弱点，我把这被称作告警信号。”

不过Kipf认出的都是一线希望。 “让我十分兴奋的是其他另有面。” GHN-2 重现了示意图神经因特网在比较简单原始数据总括四处寻找Mode的都能。

并不一定，高度神经因特网是在示意图形、文档或编解码器信号全都面四处寻找Mode，这类讯息一般都比较构造化。但 GHN-2 都是在仅仅随机的神经因特网构造示意图全都面四处寻找Mode。而示意图是更加比较简单的原始数据。

还有，GHN-2 可以众所周知——这意味着它可以对可能、甚至不出产于之内的因特网构造的常量得出结论合理的分析。Kipf 说道：“这项文书工作向我们说明了，各不相同构造的很多Mode其实多少是优点相近的，而且静态能深造如何将知识从一种构造转移到另一种构造，这无论如何但会着迷神经因特网上新理论的诞生。”

如果是这样的话，它无论如何但会让我们对这些台大学生有上取而代之、不够深入的理解。

译者：boxi。