根据DeepMind的博客介绍，AlphaCode 在号称「全球最强算法平台」Codeforces 上的 5,000 名用户解决的 10 项挑战中进行了测试。AlphaCode能够以与人类完全相同的格式在这10项挑战中自动输入代码，生成大量可能的答案，然后像人类程序员一样通过运行代码和检查筛选出可行答案，最终在人类程序员中取得了排名前 54%的好成绩。

  也就是说，AlphaCode的代码能力媲美在Codeforces上参加过测试的几乎一半程序员（2300名）。按照一个初级程序员月薪2万的算法，AlphaCode有望每年替全球人类资本家省下5.52亿的人力成本，使一半程序员失业……

  不过，DeepMind团队当时也精确指出了：AlphaCode目前只适用于竞争类编程比赛。

  不可否认，这也是继DeepMind发布Alpha Go、AlphaZero与AlphaFold之后的又一研究突破，极大地增加了其Alpha系列的传奇色彩。但与该系列的其他工作（如AlphaGo打败世界围棋冠军）相比，AlphaCode的性能似乎并不突出，

  目前正在清华大学朱军门下担任博士后研究员的Tea Pearce对AlphaCode的技术原理十分感兴趣，对DeepMind的这篇31页论文进行仔细阅读后，制作了一个短视频发表在油管上，从系统概述、测试阶段、数据集的预训练与微调、Transformer模型的训练过程与Transformer架构等维度对AlphaCode的细节进行了较为详细的讲解。

  与OpenAI之前开发的GPT-3一样，AlphaCode也是基于Transformer模型，只不过前者侧重于言生成，后者则强调对顺序文本（如代码）的解析。

  当前，AlphaCode的目标编码问题集中为特定的竞赛类型，在诸如Codeforces的网站上参加编码挑战，其中，这些挑战包含对一个问题的简短描述与带有测试案例的示例，为挑战者提供了能与正确预期输出相匹配的输入。

  简而言之，这些挑战的目标就是编写一些代码，为示例的测试案例与一组隐藏测试案例提供符合预期的输出。如果你的代码通过了所有测试，那么你就解决了这个问题。

  根据DeepMind的介绍，AlphaCode在Codeforces网站所举办的编码挑战中取得了与普通用户相媲美的成功率。

  首先要知道的一点是，在解决写代码的问题时，AlphaCode使用了一个很具体的协议（protocol），且该协议决定了该系统的管道。根据论文显示，DeepMind团队获得了使用尽可能多的示例测试案例的权限，因为这些测试案例也包含在该问题内。

  他们首先使用了一个大规模的Transformer模型，将问题描述示例测试和问题的一些元数据作为输入，然后从模型中取样，生成大量潜在的解决方案。之所以先生成大量的潜在解决方案，是因为大多数脚本无法为某些人、甚至编译器所编译。

  因此，在第二与第三阶段，他们就主要是针对这100万个潜在代码脚本作「减法」，选出他们都以为在给定协议的前提下可能有用的10个方案。而他们的做法也很简单，就是在示例测试案例中测试完这100万个代码脚本，然后将无法通过测试的大约99%个脚本排除掉，这就将脚本的数量减少到了千位数。

  不过，协议要求其还要继续缩减到10个解决方案。于是，他们又采取了一个非常聪明的方法：

  他们使用了第二个Transformer模型将问题描述作为输入，但不是尝试生成代码来处理问题，而是用Transformer生成测试案例输入，并为每个问题抽样50个测试案例输入。现在，他们不尝试生成输入与输出对，而只是试图产生一些与问题相关的现实输入。所以，AlphaCode可能必须根据问题所在，生成字符串、二进制数或数字列表等。

  为什么这是个好主意？因为他们都以为如果两个脚本对所有 50 个生成的测试所返回的答案是相同的，那么它们就可能使用相同的算法，并且可能不想浪费两个提交来尝试这两个脚本。

  所以，他们在这 50 个生成的输入上编译并运行大约 1000 个脚本。然后，他们根据这 50 个虚构输入的输出对脚本进行聚类。接着，他们会从每个聚类中选择一个示例脚本。如果十个脚本中的任何一个通过了所有隐藏测试，那么这些脚本就是最终的10个脚本，他们也就成功地解决了编码问题，否则就是失败。这就是 AlphaCode 在测试时的工作方式。

  这里有两个数据集：第一个数据集是由各种编程语言组成的公共 Github 存储库，包含 715 GB 海量代码，用于预训练阶段，目的是让Transformer学习一些非常通用的知识，比如代码结构和语法。

  他们抓取了一些 github 代码，并随机选择所谓的枢轴点（pivot point）。

  枢轴点之前的所有内容都会被输入编码器，而解码器的目标是重建枢轴点以下的代码。

  解码器以自回归方式运行：首先预测代码的第一个标记。然后，损失函数只是预测的 softmax 输出和真实令牌（token）之间的交叉熵。第一个真正的令牌会成为解码器的输入，然后预测第二个令牌，并且当要求解码器预测代码令牌的意外结束时，重复此过程直到代码结束。

  现在，这些损失通过解码器和编码器反向传播，尽管事实上：只为编码器添加第二个损失很重要。

  这被称为掩码语言，可以高效地建模损失。将输入到编码器中的一些令牌清空。作为一种辅助任务，编码器尝试预测哪个令牌被屏蔽。一旦预训练任务完成，我们就进入微调任务。

  在这里，我们将问题描述的元数据和示例输入投喂到编码器中，并尝试使用解码器生成人工编写的代码。这时，你能够正常的看到这与编码器-解码器架构强制执行的结构非常自然地吻合，损失与预训练任务完全相同。

  还有一个生成测试输入的Transformer。这也是从同一个 github 预训练任务初始化而来的，但它是经过微调来生成测试输入，而不是生成代码。

  DeepMind 团队对各种大小的模型进行了实验。经实验，较大规模的模型往往表现更好。编码器和解码器本身由多头注意力层组成，且这些层非常标准。

  该论文有许多进步之处。在这里，我不打算全部介绍，只想强调一个我认为很酷炫的点，就是标签和评级增强，以及问题描述。

  我们总是将元数据作为Transformer的输入。这包括问题的编程语言难度等级。一些问题的标签与解决方案在训练时是不是正确？他们显然知道这些字段的值是什么，但是在测试时他们并不了解什么是酷炫的，那就是他们实际上可以在测试时将不同的内容输入到这些字段中以影响生成的代码。例如，你能控制系统将生成的编程语言，甚至影响这种解决方案。

  它尝试生成比如是否尝试动态编程方法或进行详尽搜索的答案。他们在测试时发现有帮助的是，当他们对 100 万个解决方案的初始池进行抽样时，是将其中的许多字段随机化。通过在这个初始池中拥有更多的多样性，其中一个代码脚本更有很大的可能是正确的。

  以上就是 Tea Pearce 对 AlphaCode 工作原理的讲解。

  从AlphaCode的工作出发，他谈到自己的思考：为什么DeepMind团队在这些编码问题上实现的性能水平比在围棋（AlphaGo）或星际争霸（AlphaZero）游戏中的超人水平系统要低得多呢？

  Tea Pearce的分析是，从自然语言描述中编写代码本质上就比玩游戏要困难得多，但这也原因是游戏中可用的数据少得多。你能够准确的通过需要模拟尽可能多的数据，而编码问题的数量是有限的。

  最后，Tea Pearce抛出问题：AI写代码之所以难的原因可能是什么？在未来，AI的代码水平要怎么样才可以超越人类最优水平？

  5.31·上海丨华东师大上海人工智能金融学院正式成立！MIT教授Max Tegmark与5 位院士、12 位 人工智能金融顶尖专家齐聚上海，共探 AI-Fin 新机遇

  早鸟倒计时3天丨院士领衔、重磅嘉宾云集！中国大模型大会（CLM2024）诚邀您共同探索中国大模型之路！详细日程公开

  专访腾讯AI Lab姚建华、杨帆：腾讯 AI Lab 为何瞄准单细胞蛋白质组学？

  专访上海大学方昱春教授：数据驱动的手语识别研究，如何破解数据之困？｜GAIR live

  对话上交苏剑波教授：直面手语的「方言」多样性与系统「通用性」挑战｜GAIR live

  对话南佛罗里达大学孙宇教授：当大语言模型用于机器人任务规划丨IJAIRR

  讲座预约 四位专家大论道 ：AI+手语识别，技术革新与应用前景｜GAIR live

• 上一篇: 8051单片机IO口的工作原理
• 下一篇: 【48812】机顶盒作业原理