Xinzhiyuan报告编辑：Yuanyu [Xinzhiyuan简介]如何避免在大型模型培训期间避免数值爆炸和损失？思维机器实验室“ Manzold Modular”的新研究提出了一个新的范式。这翻译了“预防”限制优化中“消防”的传统数值更正，从而为更好地培训大型模型提供了新的想法。目前，由前CTO Operai Mira Murati创立的Thinking Machines Lab再次启动了结果！这是模块化收藏家，这是在LLM推理中打破的第二条研究文章。博客地址：https：//thinkingmachines.ai/blog/modular-manifolds/traininglarge Neuronal网络就像“ tightrotoat”。应仔细维护它，以防止重要的张紧器，例如重量，激活值和梯度，以免引起一系列问题，例如散布刺绣。一个重要的想法是为LAR提供统一的幅度管理集GE型号。首先是稳定基本市场。使用图层标准技术将每一层的输出返回适当的范围，并将激活向量归一化。现在这是一种常见的做法。正常化梯度更新也很常见。例如，MON Optimizer的频谱使更新归一化，并允许您控制更新的每个步骤的幅度。进一步，您必须直接“控制”体重。标准化的重量矩阵是值得尝试的方向。在本文中，我们提出了一种重新考虑的优化算法，该算法提供了新的观点。要处理这些各种限制，我们限制了Submanifoldio重量张紧器以优化算法。这就是如何转换“预防”中的“消防局”。您可以从一开始就将参数放置在您的健康状态下，以便对培训进行更稳定的解释，这使最大的模型可以更稳定，更有效地训练。多PLE优化器形状收集器只是局部平坦的表面。收藏家点附近的当地平面空间称为“切线空间”。如图1所示，三维球形表面或上限是收集器，图的红色部分显示了特定点的切向表面。为了“避免”加权收集器，一种简单的方法是使用普通优化器在更新的每个步骤后将重量返回给收集器。但是，问题在于，如果从收集器中有太多的优化步骤迫使投影，那么名义学习率将不再与收集器中参数的实际位移相对应，从而削弱了对“步骤效应”关系的直觉。如果您想在收藏家中仔细设计培训算法，则必须首先清楚地思考。这是一种在切割空间中测量的方法。距离是在切割空间中直接优化的解决方案。这样，每个stEP遵循多个“表面”，学习速度可以更好地适应“真正的位移”。一般的选择是欧几里得距离，但它也可以以其他方式测量距离，如图2所示。渐变：换句话说，无需严格朝梯度的方向移动即可以数学来表示此过程。 A表示更新的方向，并且η表示必须解决的问题。如图1、2和3所示，其中λ和μ得出拉格朗日函数，并解决λ和μ与两个限制结合。从图4中显示的学习速度IS。执行此过程时，您必须根据两个选项之间的差异来决定选择哪种收藏家。我想将输入向量X转换为输出向量Y = WX以设计多个限制和距离功能。如图5所示。SVD显示了矩阵如何分解矩阵附近的“拉伸效果”到一个，并沿几个轴扩展输入矢量。 1个矩阵收集器。该矩阵收集器在数学上称为潮汐收集器，可以在高矩阵（m≥n）的假设下同样定义为以下集合：多个stefel到设计优化器，您必须选择适当的距离函数。为了限制输入矢量中重量更新的最大拉伸效果，光谱标准是适当的选项。仅限制最大效应器，但是优化器使上限饱和，这间接阻止了最小效应太小。这就是导致Mon Optimizer引入的想法。在将这个想法与Stifel多重限制结合在一起之后，形成了“多个月亮”的问题。本文的关键结果是凸优化的问题，可以通过标准双重增加方法来解决。派生后，dou的梯度BLE函数如下：可以通过小实验来验证算法的生存能力。配置和实验结果如图6所示。对于模块收集器，当它结合多层以构建完整的神经元网络时会发生什么？我应该关注层之间的相互作用并相应地改变优化策略吗？这需要一种在一般神经网络中的上一篇文章中概括得出的逻辑的方法：模块化收集器的理论。该理论的核心思想是建立一种抽象机制，以指导方法在层次之间合理地分配学习率。从本质上讲，不同层或攀爬单个层之间学习率的分配取决于了解Lipschitz对网络输出的敏感性的权重。在网络构建过程中跟踪这种敏感性。多个限制可以帮助您更准确地理解。请参阅：https：//thinkingmachines.ai/blog/modular-manifolds/
特殊声明：先前的内容（包括照片和视频（如果有），如有）已由网络自我媒体平台的用户收费和发布。该平台仅提供信息存储服务。
通知：以前的内容（如果您有照片或视频）将由社交媒体平台NetEase Hao收费和使用，仅提供信息存储服务。
IA实验室的价值为840亿人，并且正在做出一个伟大的动作，并希望将“紧紧的篮球”放入伟大的模型中