微软和其他人为“模型链”提出了一个新的范式

作者: 365bet网址   点击次数:    发布时间: 2025-06-04 13:17

随着大语言模型（LLM）的出现，跨性别建筑的扩展被认为是彻底改变现有景观并在各种任务中实现最高绩效的强大方法。因此，行业和学院的趋势都在越来越多，以探索扩展变压器模型的方式。在这种情况下，LLM参数的规模从数十亿美元呈指数增长。因此，他们的爆炸性参数量表为训练带来了非常昂贵的负载，并且无法在不同的实施环境中使用不同的推论。鉴于这种增长方法，如何有效地开发和使用LLM以在各种情况下处理用户的说明是一个开放而重要的问题，对于社区而言，这是一个重要的问题。目前，改进的LLM架构有以下问题：一定的人类智能，可以逐渐获得新知识，现有的扩展策略无法维持SC现有知识的啤酒，应始终从头开始训练，导致效率低下。现有的LLM体系结构（例如集中模型和MOE）始终激活固定比例参数，并且没有动态适应问题解决能力的机制。在本文中，微软研究人员，法丹大学，Zhijiang大学和上海科学技术大学提出了一个新概念（演讲），该概念将范式代表的范围推广到更广泛的范围。文档标题：语言模型的学习模型学习文档地址：https：//arxiv.org/pdf/2505.11820，具体来说，本文档观察到，每个表示始终被视为隐藏维度多重投降的组合。因此，本文档中将此组合定义为一个特征链，每个亚限度对应于链条。根据此定义，通过使用不同主链的ENT数字，它们相应的功能可用于编码不同的知识（称为比例），如图1所示。因此，建立COR函数之间的连接以通过非常重要的刻度来确保功能转换。为了实现这一目标，本文档提出了一种新的学习范式，称为模型链（COM），以模型COR功能。它的核心思想是引入不同尺度之间的因果关系，这使每个量表仅在前尺度上使用信息。为此，本文档提出了一个链层（外层链，白菜），该链层根据COR函数重建了电流网络的层。根据COM框架，本文将COL的想法应用于变压器的每一层，重建语言模型的体系结构，并称为语言模型链（COLM）。此外，根据COL标准，本文档在atte中更多地介绍了钥匙Ntion模块，它需要计算第一个链中的所有键和值，并将其称为Air Colm。根据这种机制，Colm-Air提供了更大的可扩展性和灵活性。多个参考测试的结果表明，MODM系列模型在实现大量性能的同时表现出更好的可伸缩性和灵活性。方法的引入：表征链的定义。根据定义1，每个链对应于COR的每个子表达。您可以使用COR通过激活第一个链来编码比例。因此，COR可以在单个表示中编码不同的比例。如果n = 1，则COR与原始表示相同。图1说明了Cor的概念。根据先前的定义，挑战是如何设计一层以在COR输入和COR输出之间建立连接。这实现了多个函数的转换，同时维持In -Line输出功能COR定义标准1。结合因果关系。最重要的是，Col支持选区。换句话说，堆叠多个Col放置将有助于维护特征Col。此功能使您可以概括从分层级别到模型的COL范围。这是本文的第三个定义。根据定义3，如果该模型符合COM的标准，则遗传了COL的所有特征，例如普遍性和因果关系。换句话说，所有模型都可以视为一种com（即n = 1）。 COM可以根据现有模型在模型和规模中集成多个不同大小的子底座。此功能增加了基本模型的可扩展性和灵活性。接下来，在本文中，我们将详细说明如何将com应用于包括线性模块，变压器（嵌入式，自动化，提前，标准化）和目标功能的语言模型，并将称为COLM（语言E模型）。此外，本文档进一步介绍了基于框架COLM的价值交换的关键机制，并将其称为Colm-Air。这增加了灵活性。图2显示了线性和线性链层的比较。图3显示了注意力链和注意力链之间的差异。对此部分内容感兴趣的读者可以参考原始文档以获取更多信息。实验结果表1中的结果表明，COLM的结果与基线相当，与Tiempo相当，从而增加了先前更快的制冷的速度和灵活性。考虑到COM的普遍性和因果关系，任何模型都会成为链条。它可以被视为com的特殊情况，可以扩展到多个结构。因此，在本文中，我们提出了一种扩展链的方法。使用经过完整的型号作为第一个链条，通过新链扩展。为了证明这种意见，选择了两个火焰变体（即TinyllAMA-V1.1和Call-3.21b）作为扩展的初始链。表2中的结果表明，与Tinyllama-V1.1和Call-3.2-1B相比，本文档中分别实现了0.92和0.14的改进。由于Call-3.2-1b是一个更强大的基线，因此需要进行更多的计算才能实现重大改进，但是本文中的方法在计算中受到限制，因此可以改进。通常，这些结果表明，即使在资源限制的情况下，本文档的方法仍然有效地改善了基准。弹性推理是一种动态推理特征，可以满足旨在提供的几种实施方案的需求。表3中的结果突出了Colm获得弹性推断的潜力。如图5所示，Colm-Air的速度比类似参数更高。随着序列的长度的增加，Colm-Air可以在上一个ST中实现更明显的速度增加年龄。这完美地表明，Colm-Air可以有效地加速整个过程。由于COM架构的因果性质，COLM由多个链模块组成，每个模块都可以继承早期订单链的功能。根据这种过敏反应，本文档提出了链条调整方法。在冻结第一连锁的同时，只能对后来的链条进行良好的调整。通过维护初始链参数，此方法不仅可以将调整成本降低约42％，而且有效地减少了遗忘的灾难性问题。此外，当采用COLM-Air配置并冷冻初始链时，可以通过精细调整模型生成的密钥值对就可以迁移而没有任何问题，而无需进行其他计算。实验表明，链条调整需要对大约42％的模型参数进行精细调整以提高性能，并且与有效的参数兼容r调整方法，例如洛拉。