在人工智能领域，模型性能及其经济成本投入一直备受瞩目。今天要讨论的MoR技术，如同投入平静湖面的巨石，激起了层层涟漪。这一技术是否有可能成为解决算力与成本难题的突破口？对此，我们将进行深入研究。
MoR：改变游戏规则者
在处理代码编写、数学运算、逻辑分析等需要分层次解决的问题中，MoR技术被广泛认为是对传统方法的一次重大革新。过去的方法通常依赖Scaling law来扩展语言模型的规模，尽管这种方法可以提升模型的能力，然而它也导致了计算能力和成本的大幅增加。MoR技术为公众带来了新的思考方向，它不仅预示着成本削减的可能性，同时也展现出提升工作效率的前景。
小型路由器：秘密武器
MoR的独特之处体现在其搭载的小型路由器上，该设备对每个token的隐蔽状态进行评估。在这些评估结果中，得分较高的token得以继续参与循环，而得分较低的token则被提前剔除。这一机制有效地减少了不必要的计算，宛如一位精明的管家，巧妙地分配资源，进而提高了计算效率。
动态调整：两大组件助力
在预训练阶段和推理阶段，MoR系统利用两个关键模块对各个token实施动态调整，步骤为递归。系统采纳了top-k门控策略，研究者们进而提出了一种专家路由策略。在这种操作模式下，递归的层级可被视为“专家”，每轮递归过程中，将选取top-k数量的token进行操作。该策略成功确定了token的递归层级，降低了每层中重复选择的频率，进而提升了推理过程的整体效能。
KV缓存策略：各显神通
在MoR模型的研究中，研究人员提出了两种不同的KV缓存方法。首先，他们提出了一种基于递归层的缓存策略，该策略被命名为“选择性缓存”。此策略的特点是，只有在Token被导向特定层级时，该层级才会创建并保存相应的KV对。其次，他们还提出了一种跨递归层共享的策略，该策略使得所有Token都能无障碍地访问历史上下文，无需重新进行计算。这两种策略为模型的高效运行提供了坚实的保障。
实验对比：优势明显
研究者对MoR模型、传统Transformer模型以及递归Transformer模型进行了比较。在相同的训练资源限制条件下，MoR模型不仅达到了更低的验证损失，而且在few-shot学习任务上的平均准确率也更为显著。在维持训练token数量稳定的前提下，MoR模型采用参数共享策略，借助连续深度批处理技术，成功提升了推理过程的执行速度，这一成果充分展现了其在计算效能上的明显优势。
推理加速：显著成效
整合深度批处理技术与预退出策略，MoR模型的推理速度得到显著提高。递归深度提升后，越来越多的tokens得以提前退出，这减少了KV缓存的消耗。在实际应用中，该机制促进了GPU的高效持续使用，为模型的广泛应用奠定了基础。
您如何评价MoR模型在人工智能领域的未来走向？我们期待您的点赞与分享，同时热切欢迎您在评论区分享您的观点，进行深入的交流讨论。
