我们仍处于可能性的早期阶段，尽管长时间的对话仍然是不可能的，而且每次对话本质上都是重新开始的。没有记忆或记住你的概念。在某些时候，当模型无法再记住对话的一些早期部分或从中获取一些参考时，连贯性也会开始受到影响。
编程编程是大型语言模型接受度和影响力最大的领域之一。
Copilot 由 GitHub 推出，直接在您的网站 IDE 中提供编码服务，并通过可视化代码扩展提供该服务。其他几个 IDE 似乎也出现了，它们似乎有专有的提示，可以为特定于编程的任务定制大型语言模型，并提供 GPT-4，这似乎比前者提供了更好的结果。
随着我们对变压器功能的了解越来越多，研究也在不断推进，同时取得了成果并提高了性能。例如，以下工作改进了提示，并展示了模型通过 3 种方法纠正错误输出的能力：
- 简单反馈：询问模型是否认为生成的解决方案正确
- 单元测试：将单元测试的反馈提供给模型，以便模型可以改进其代码
- 代码解释：要求模型解释它刚刚编写的代码
来自《教授大型语言模型到自调试》
但这在哪里失败了呢？无法吸收大量代码是这些模型当前的缺点。该场景中的一些可能的用例可能是在编写某些功能的单元测试后编写更高级别的测试，或者帮助调试今天花费大量精力的大型代码库。
法律与医学最近，评估大型语言模型时流行的一件事是报告他们解决考试的能力。
快速浏览一下 GPT-4 的发布，可以看到博客中早期展示的热门考试的结果，以在涵盖法律、医学、代码、能力倾向、大学入学考试等各种不同考试中建立模型，使其比之前的模型迭代得到改进。虽然这些的重要性也可以质疑它们是否是好的信号，但一个很好的自然问题是“我们要去哪里”？
来自 https://openai.com/research/gpt-4
使用以下提示：
GPT-4 被证明能够很好地解释法律概念
摘自“用 AugmentedLarge 语言模型解释法律概念 (GPT-4)”
而且，另一项工作显示 GPT-4 通过 Bar 考试的得分为 75%，这足以使其进入第 90 个百分位。
大型语言模型也被证明可以帮助应对医学挑战，在 USMLE（美国医学执照考试）的各种问题上表现良好。
摘自《GPT-4解决医疗挑战问题的能力》
这些能力证明了大型语言模型很快就能擅长做事，虽然他们并不完美，但他们可能能够节省大量时间。他们会到达一个完全取代人类的地方吗？在回答两个关键问题之前可能不会：
- 在大多数法律应用中，法律和先例会随着时间的推移而变化，并且大型语言模型会在某个截止期之前针对特定数据实例进行训练；除非模型经过训练来更新其内部知识，否则将这些模型普遍用于法律应用是极其困难的。
- 在大多数医学应用中，当在数据集上进行训练时，大型语言模型和整个神经网络已被证明容易产生偏见和幻觉。医学是一个安全关键的应用，减少误报的必要性是关键，任何模型都不应该给 患者开出错误的药物。
摘自《用语言模型解决定量推理问题》
虽然还有很长的路要走，而且大型语言模型确实缺乏推理能力，远远落后于人类的表现，但我们可以预期他们也会慢慢开始执行并擅长这些任务。陶哲轩在他的微软博客“拥抱变革，重置期望”中写道：
经过努力，人类专家可以将那些不起作用的想法修改为正确且原创的论点。2023级人工智能已经可以为工作数学家生成暗示性提示和有希望的线索，并积极参与决策过程。当与形式证明验证器、互联网搜索和符号数学包等工具集成时，我预计 2026 级人工智能如果使用得当，将成为数学研究以及许多其他领域值得信赖的合著者。人工智能的隐私问题今天的大型语言模型必须最有效地部署，并且在针对帮助人类的特定下游任务进行微调之前还有一些路要走。无论模型性能如何，前进的道路似乎是人类协作并在人类反馈的情况下使用这些模型。 虽然对超人水平的人工智能性能的估计可能会偏差几年甚至几十年，但大型语言模型在每项任务上都在缓慢地广泛改进，并且自几年前以来已经取得了很大的进步。这些性能改进表明，未来几年大型语言模型在各地的部署可能是不可避免的。 在大多数公司中，企业提供的人工智能模型不能轻易用于内部目的，因为模型服务是通过 API 进行的，并且不能保证今天发送的数据不会添加到明天大型语言模型的训练数据中。与此同时，对于大多数公司来说，正确使用大型语言模型的最佳用例是将它们嵌入到代码库/文档中，以帮助团队并提高生产力。即使在更个人的层面上，大型语言模型的一个可能的用例就是它们在医学中的应用。即使不开药，它们也可以用于在医生会面之前收集病史或患者数据。这种先前的交互将使模型暴露于敏感的患者数据，这可能是不希望的。在公司内部撰写法律文件/研究案例也可能会向数据隐私至关重要的模型泄露其内部文件。当与研究人员一起应用于研究时，在协作的同时，研究人员可能希望隔离他们的数据并将模型用于他们的特定兴趣。
大多数人工智能的个人用例（例如聊天机器人）可能会随着时间的推移而泄露用户的数据/偏好，即使是无意的。随着聊天机器人 API 变得有状态，它们将记住用户对话以及用户本身，这可能会提供整体 QOL（生活质量）优势，但会将用户数据泄露给模型和公司。
随着大型语言模型课程的激增并在您使用的应用程序的后台或您上网或在线完成工作的界面中变得无处不在，这些模型对您的数据的私人推理和私人训练成为一个需要解决的重大问题。这不仅限于个人，还包括那些向想要在其数据集内部使用这些解决方案的实体提供这些解决方案的人。
另一个值得关注的角度是，人工智能供应商不断发展并向全球大多数实体提供解决方案。该实体可能想要测试该模型在医院数据上的效果如何，但这是敏感的私人数据或只是 IP，并且该实体打算对人工智能供应商保密。该应用程序是私人人工智能推理的另一个此类用例。
最后一个用例是当两个不同的实体（在本例中为医院）想要基于私人患者数据一起训练模型时；如何提供既能保证数据私密性又能有效训练模型的服务？
虽然今天的区块链是使用不同链上的应用程序进行个人交易的透明分类账，但它们提供了去中心化网络和实体的协调方式，并且还有助于与其他加密方法（如多方计算、零计算）一起为各种用例提供可证明的隐私保证——知识证明等。
区块链上的多方计算
来自 Andrew Millers 的演讲“MPC 作为区块链机密层”
安全多方计算 (MPC) 是一个密码学领域，涉及创建方法，允许多方使用其私有输入联合计算函数，而无需向彼此透露这些输入。它支持对敏感数据进行协作，例如在不暴露个人数字的情况下计算共享平均值，从而维护所有参与者的隐私。
想象一下三个朋友想要知道他们的平均工资而不向对方透露他们的工资。他们可以使用安全 MPC 来完成此任务。
假设朋友是 Alice、Bob 和 Eve：
- Alice 拿走她的工资，添加一个随机数，并将结果告诉 Bob。
- Bob将他的工资和另一个随机数添加到他从Alice 那里收到的数字中 ，然后将结果告诉 Eve。
- Eve将她的工资添加到Bob 的数字中 ，然后减去之前添加的所有随机数字，并将结果除以 3 得出平均值。
Transformer 架构
虽然要了解 Transformer 的每个具体细微差别本身就需要一篇博客文章，但简而言之，我想详细介绍一下该架构，以便我们了解在 MPC 设置中使用 Transformer 时遇到困难的原因。
当您第一次获得输入“侦探调查”时，输入首先被标记化，即分成子词，然后替换为字典中的数字。这本词典也是词汇。模型的词汇表是在模型训练之前构建的，可以认为类似于人类拥有自己的词汇表。这些词汇量通常约为 250,000 个单词，但成人的功能词汇量约为 30000 个单词，因此模型的运行速度已经提高了约 8-10 倍。
然后将它们表示为向量，并且该嵌入的大小可能会根据架构设计期间所做的选择而变化。一旦我们有了如下所示的输入嵌入，由于 Transformer 架构没有序列和词序的概念，我们添加位置编码，即以一种非常简单的方式添加一些词序的概念，这样模型就会识别出“这是一个ball” 和 “this ball is a” 是不同的句子，应以不同的方式对待。
一旦获得嵌入，它们就会通过注意力层发送，这基本上可以被认为是更好地理解语言并确定单词之间关系的一种方式。之后，它通过 MLP 前馈神经网络发送，让模型根据自身来了解每个单词。虽然这只是一层，但在上面的原始照片中，我们看到架构的每一侧都有一个“Nx”，这表示每个模块最终都会重复 N 次，这决定了模型的大小和参数。GPT-3 本质上有 96 层。
思考高层发生的事情的一种直观方法是认为 Transformer 在模型的后面层学习更多抽象表示。相比之下，前面的层可以理解语言本身。
这些实际上是如何计算的？
给定一个输入向量 x 和 (q,k,v) 作为注意力模块的输入，在这种情况下，我们假设只有一个输入向量 x。尽管如此，在实际计算过程中，它们还是作为矩阵堆叠在一起，然后计算点积，然后将其通过 softmax 函数。
计算一个向量的注意力
这会计算输入中的“注意力”：
计算一个向量的值
这将计算最终输出。
在大多数通俗文学中表达这一点的通常方式是：
多头注意力方程
其中 softmax 函数由下式给出：
Softmax函数
softmax 函数是一个非线性函数，它将输入的总和归一化为 1。
以下公式计算MLP层：
前馈网络方程
现在使用 GELU 代替 RELU 函数。函数的形式如下。
RELU、GELU 和 ELU 的图表
虽然我们大多只讨论了架构的单独模块，但值得注意的是，在最后，我们有一个线性层，然后通过 softmax 发送，最终产生词汇表的概率，并选择概率最高的单词。
我们为什么要讨论 Transformer 架构？总的来说，当应用于机器学习模型时，MPC 有其自身的问题。大多数机器学习和深度学习计算都是通过浮点运算完成的，而 MPC 计算使用整数，而浮点模拟即使可能，成本也非常高。另一个原因是大多数 MPC 应用基本的算术运算，例如加法和乘法，并且所有其他运算都是由这些运算组成或近似的。这些简单的操作使得实现复杂功能的成本很高。最后，我们面临的 Transformer 问题是存在像 GELU 和 Softmax 这样的非线性函数，这些函数不能轻易近似。
最近的工作，如“ MPCFormer：使用 MPC 进行快速、高性能和私密的 Transformer 推理”和“ PUMA：五分钟内 LLaMA-7B 的安全推理”，为这些问题提供了一些解决方案。这两篇作品都提供了这些函数的近似值，并解决了由于这些选择而可能出现的其他问题。
在 MPCFormer：使用 MPC 进行快速、高性能和私有 Transformer 推理 中，作者使用以下方法近似 GELU 函数，类似于通常近似 RELU 的方式。
GELU 近似
并且使用以下二次方程进行softmax近似。
Softmax近似
Gelu近似称为Quad，Softmax近似称为2Quad。实验发现 Softmax 在数值上与原始 Softmax 函数有所不同（基本上，它们不是相同的函数并且具有不同的图形）。尽管如此，它仍然是一个计算效率较高的良好近似值。
作者借助一种称为知识蒸馏的技术来处理这种特定的分歧，该技术最初在深度学习中引入，使用较大的模型作为较小模型的老师，因此较小的模型可以学习相同的东西并具有相似的性能，但几乎是一个数量级比大型号小（有时是大型号的一半）。在本例中，该技术用于使模型的表示与原始模型相似。
这项工作中使用的模型是 BERT 模型，它是第一个预训练的语言模型，早于 GPT 论文和工作。这项工作的结果看起来很有希望，因为他们将用于情感分类的 IMdB 数据集和 GLUE（一种用于理解和估计语言任务模型性能的自然理解基准）的推理速度提高了 5 倍。虽然 IMDB 在提供 MPC（即隐私保证）方面没有实际的准确性损失，但我们看到在 Quad+2Quad 情况下，与原始 Bert 实现相比，减少了 5 个点，而加速仅提高了 2 倍。
与 MPCformer 工作相比，PUMA：五分钟内 LLaMA-7B 的安全推理工作改进了 GELU、Softmax 的近似值。MPCFormer 工作还使用了 MPC 引擎中的一些基本假设，这些假设导致模型在现实世界中的性能受到影响，例如没有实现变压器模型推理所需的一些关键功能。这些都在 PUMA 的工作中得到了纠正，从而带来了更好的表现。
正如我们在本文前面所看到的，这项工作中的 GELU 近似通过研究函数图，比之前 MPCFormer 中的二次近似得到了改进。我们看到-4之后，函数趋于0；3 之后，它解析为 x 本身。-4 和 3 之间的函数是在 Numpy 的帮助下进行近似的。
同样，softmax 也找到了更好的近似值。在 BERT 模型的情况下，我们看到 PUMA 工作几乎提供了 2 倍的推理提升，并且通信成本实际上降低了 2.5 倍。通信成本是MPC系统协调其功能上的计算所承担的成本。
时间（秒）和通信（GB）、PUMA 结果
未来需要考虑的一些工作是，PUMA 工作还尝试了 LLama 等模型，LLama 是 Meta 训练的最新架构，它在 LLM 的未来显示出很大的前景。尽管如此，当应用于 MPC 设置时，他们发现生成一个代币大约需要 500 秒，而在没有隐私的现实条件下，我们看到 LLama 每秒可以生成大约 20 个代币，这几乎慢了 1000 倍。我们需要使用更好的方法，同时使用硬件加速技术和量化，这可以加快基于 MPC 的变压器推理的推理速度。
区块链仅用于推理？一个自然的问题是，“区块链仅对 transformer 模型的私人推理有用吗？” 虽然 AI x 区块链的主要用例是隐私层，但还有其他一些方面。
MPC 对私有模型推理有帮助吗？区块链使 MPC 协议变得更加安全和公平，但最终在实现 transformer 推理协议时存在局限性（尚未探索训练）。最终，我们逼近非线性函数，使其在 MPC 中成为可能，但是虽然这在推理设置中是可能的，但训练神经网络却极其困难。如果没有非线性，神经网络只是一个平坦的线性函数。这些近似确保了分散推理，而不是训练（目前）。虽然不是最先进的优化部署，但我所介绍的论文需要大约 5 分钟才能从 7B 参数 Llama 模型生成一个令牌。相比之下，您可以在 CPU 上本地生成 20 个令牌。深度学习的隐私与效率权衡是倾斜的，我们还有很长的路要走。
随着大型语言模型的能力越来越强，当前理解其能力的评估方法变得困难。评估数据集的持续时间很短，模型的几次迭代就会使评估基准变得过时。改变和提高这些模型的评估基准的最佳方法是使用专家评估。然而，协调专家团体并建立公正的评估协议是很复杂的。区块链提供了一种在各个领域进行激励调整和引导专家网络的方法，还设计了一种协议，可以帮助专家以可扩展和透明的方式评估大型语言模型和不断增长的人工智能能力。
最后要提到的一个应用是最近一项名为“验证神经模型训练数据的工具”的工作，它引入了一个称为“训练数据证明”的概念，这是允许模型训练者说服验证者的任何协议产生一组模型权重的训练数据。由于模型训练需要数万亿个单词，一些数据可能是私有的或受版权保护的，并且需要确定模型是否使用特定的数据槽。当在更广泛的零知识框架中采用时，此类协议提供了一种无需信任地建立数据来源的方法。
结论本博客简要介绍了区块链如何充当人工智能模型的隐私层，并为数据敏感应用程序提供私有推理。在后续工作中，我们可能可以通过区块链、我们需要建立的权衡和设计决策来探索 MPC 协议的技术细节实现，并且我们是否还可以引入 MPC 的零知识证明来提供其他可能需要的保证。这样的系统。
它提供了大型语言模型和一些正在慢慢进入数百万人手中的应用程序世界的内部视角。但随着这种广泛的访问，数据隐私等问题变得显而易见。然后我们讨论大型语言模型的各种隐私陷阱。具有区块链的 MPC 提供了一种进行计算的方法，同时保持数据的私密性，并保证稳健性和公平性。最后，我们回顾了最近将 MPC 应用于变压器推理的工作，并讨论了未来的工作。
我将在以后的文章中介绍 ZK-ML 和基于 FHE 的深度学习协议。谢谢阅读！
