我是电子信息与通信学院2025级硕士研究生曾伦彬，中共党员，导师王兴刚教授，主要研究方向为多模态大模型、并行解码与稀疏注意力。我的科研工作主要围绕大模型训练、推理优化和架构设计展开，希望在学术研究与产业实践之间建立联系，将实际研发中遇到的问题转化为可以深入研究的课题。

2024年，我进入MiniMax开展大模型相关实习，并入选MiniMax Top Talent人才计划。刚开始实习时，我主要负责MiniMax M1的预训练数据工作。在这一过程中，我逐渐认识到，数据质量、训练流程与模型效果之间存在紧密联系，一项看似基础的数据工作，也需要经过反复分析、实验验证和工程优化。这段经历使我建立了对大模型研发流程的初步认识，也为之后参与模型训练和架构研究打下了基础。

随着对大模型训练过程的理解不断深入，我开始参与MiniMax M2至M3阶段的并行解码工作，主要负责相关方案的代码开发、训练、测试和上线，并参与撰写MiniMax M2技术报告中的预训练结构部分。并行解码的目标是降低逐Token生成带来的时间开销，提高模型推理效率。相关方案需要同时考虑训练效果、推理速度和实际部署条件，因此除了完成模型训练和实验对比外，我还参与了上线前的性能测试与适配工作。目前，这套方案已经进入实际模型推理链路，用户调用相关模型时均会生效，实测推理吞吐达到原方案约2倍。这段经历让我对一项研究方案如何从实验阶段走向真实应用有了更加完整的认识。

在完成并行解码工作后，我进一步参与MiniMax Sparse Attention，即MSA的方案设计与论文撰写，主要参与KV Selection和稀疏方案研究。面对百万Token长上下文带来的巨大计算开销，MSA通过选择与当前查询相关的KV块，仅对选中的部分进行精确注意力计算，从而减少不必要的计算。在H800推理卡和百万上下文设置下，相关注意力算子实现了预填充14.2倍、解码7.6倍的加速。该成果已经应用于MiniMax M3，成为其支持百万Token长上下文的重要底层技术。通过这项工作，我的研究内容也从推理优化进一步延伸到模型底层架构设计。

在多模态大模型方面，我以第一作者身份完成了论文《DiffusionVL: Translating Any Autoregressive Models into Diffusion Vision Language Models》，该论文获ECCV 2026录用。ECCV是计算机视觉领域具有重要影响力的国际会议。DiffusionVL主要研究如何将已有自回归视觉语言模型的能力迁移到扩散视觉语言模型中。相关方法在使用不到代表性方法5%训练数据量的情况下，取得了具有竞争力的多模态理解性能，并在扩散视觉语言模型中达到领先水平。项目开源后获得161个GitHub Stars。

这项论文工作也与我在实际大模型训练和推理过程中积累的经验密切相关。从模型训练、实验验证到论文撰写，我更加深刻地认识到，产业研发与学术研究并不是彼此割裂的：实际系统中的问题可以为科研提供方向，而科研中的方法也需要经过真实环境的检验。截至目前，我的Google Scholar论文引用量为270次，H-index为5。此外，我还作为核心贡献者参与了MiniMax M1、MiniMax M2和MiniMax Sparse Attention等3篇技术报告，参与研发的相关开源项目累计获得超过5000个GitHub Stars。

在学校科研工作中，我参与了国家自然科学基金联合基金重点支持项目“开放环境下多模态状态空间大模型自学习机制研究”，以及国家自然科学基金项目“开放场景大规模弱监督物体检测分割”。我将自己在多模态建模、模型训练、视觉感知和长上下文研发中积累的经验用于相关研究，希望在完成产业研发工作的同时，也能够为学校承担的科研任务作出力所能及的贡献。

回顾这段科研经历，我从预训练数据工作起步，逐步参与模型训练、并行解码、稀疏注意力和多模态大模型研究。这一过程中既有论文和技术报告的产出，也有大量代码开发、模型训练、实验测试和工程适配工作。我仍有许多知识需要学习，也有许多问题需要进一步研究。对我而言，这些经历的价值不仅在于取得了哪些成果，也在于逐渐形成了从实际问题出发、通过实验验证想法并持续改进方案的科研习惯。

思想政治方面，作为一名中共党员，我认真学习党的理论知识，积极参加党支部组织生活会及相关组织活动，自觉增强责任意识和纪律意识。在科研学习中，我坚持实事求是，遵守学术规范，尊重团队成员的共同劳动，客观看待个人贡献与团队成果。我将继续以党员标准要求自己，认真完成学习和科研任务，在大模型相关领域持续探索，努力取得更加扎实的研究成果。