五辆:坦克300玩起车、体蜈蚣穿越河道 博主 纯胡闹

2025-07-24 03:22:17      来源:法制网

谁说扩散模型只能生成图像和视频?

现在它们能高质量地写代码了,速度还比传统大模型更快!

InceptionLabs推出基于扩散技术的全新商业级大语言模型——Mercury。

Mercury突破了自回归模型“从左到右”逐词生成的限制,采用“从噪声到结构化输出”的方式,能一次性预测所有方向的token,提高了生成速度。

这样一来,Mercury还解决了自回归“一旦生成难以回头调整”的问题。

扩散模型并不是仅考虑前面已经生成的内容,它能在生成过程中进行动态纠错修改,具有更大的灵活性。

尽管采用了扩散技术,Mercury模型系列仍保留了Transformer架构。

这确保了该模型能直接复用近年来为大语言模型开发的高效训练、推理优化技术(如低阶算子优化、超参数调优工具等)。

实测数据显示,面对相同的编程任务,Mercury的代码生成速度比传统工具最多快10倍,大幅缩短了开发周期。

在H100GPU上实现1109tokens/秒吞吐量

Mercury用成熟的Transformer作为神经网络基础,结合扩散技术的并行生成能力,既保留了大模型的兼容性,又突破了自回归模型逐词生成的速度限制。

扩散生成流程

Mercury的核心创新在于“扩散式生成”,流程如下:

训练阶段的正向过程:从真实文本(如代码片段)出发,逐步加入噪声(随机替换、删除token等),最终变成完全随机的噪声序列。

推理阶段的反向过程(核心):从随机噪声开始,通过Transformer模型迭代优化,逐步去除噪声,最终生成符合真实分布的文本。每次迭代中,模型会并行修改多个token,而非逐词生成。

这一过程扩展了此前的离散扩散方法,通过优化数据处理和计算逻辑,实现了大规模训练(万亿级token)。

高效利用硬件

Mercury主要通过并行化文本生成、动态去噪调度、混合精度量化等技术,极致发挥GPU性能,实现对硬件的高效利用,降低训练和推理成本。

并行化文本生成

扩散机制允许模型在单次前向传播中预测多个token,相较于自回归模型的“从左到右”逐词生成,显著提升了GPU利用率。

在NVIDIAH100GPU上,MercuryCoderMini和MercuryCoderSmall(MercuryCoder系列编码优化产品)分别实现了1109tokens/秒和737tokens/秒的吞吐量。

在CopilotArena的基准测试中,可将响应时间压缩至其他工具的1/4,同时硬件资源占用减少60%。

动态去噪调度算法

Mercury通过自适应调整去噪步数,在简单任务中减少计算量,在复杂任务中保留足够迭代次数,实现精度与效率的平衡,从而更高效地利用硬件资源,避免不必要的计算开销。

混合精度量化技术

模型在推理时可自动切换至低精度计算模式,内存占用减少30%,同时通过残差补偿机制维持输出质量。这让Mercury能在有限的硬件内存条件下运行,且不明显影响性能。

强大的错误纠正能力

与传统自回归模型“从左到右”逐词生成,一旦生成难以回头调整不同,Mercury不受限于仅考虑前面已生成的内容,能够在生成过程中动态修改之前的内容,具有更大的灵活性。

双向注意力机制

Mercury在去噪过程中引入上下文双向关联,能够更好地理解文本的前后语境,从而更准确地发现和纠正错误。

实时纠错模块

模型在去噪步骤中会同步检测代码逻辑漏洞,通过强化学习动态修正输出。在代码生成任务中,MercuryCoder可以自动修正逻辑漏洞,还支持函数级参数自动校正,能有效提高代码的准确性和可用性。

多语言语法树嵌入

Mercury将Python、Java等语言的抽象语法树(AST)结构融入扩散过程,有助于减少语法错误。

超快响应速度与当前CI能力不匹配

在LLMs出现之前,持续集成/交付(CI/CD)的速度就已经成为一个主要瓶颈,这导致开发人员在测试时把时间浪费在等待拉取请求(PRs)上。

有时,一个更改操作需要在队列中等待数小时,甚至有时会因为不稳定需要重新开始。

Mercury模型在编写代码方面实现了超高速响应,但如果每次代码更改都需要数小时进行测试,那么就像这位网友提出的问题一样:

即使大模型能够以比人类快100倍的速度写代码,但测试速度跟不上的话,这将没有什么意义。

于是问题来了:

如何缓解超快响应速度与当前CI能力不匹配的问题?

一些人认为因为开发人员时间比机器时间昂贵得多,所以可以通过简单地“投入更多机器”来解决CI速度问题。

然而,也有另一些人指出,这对于谷歌等“印钞机”公司可能可行,但对于普通公司来说,CI预算是固定的,增加计算资源并不是一件容易的事情。

InceptionLabs团队

Mercury的开发方InceptionLabs的三位联合创始人是来自斯坦福、UCLA和康奈尔大学的计算机教授。

其中,StefanoErmon是扩散模型的共同发明人,他与Sohl-Dickstein等学者共同构建了扩散模型的理论基础,并通过后续研究推动了模型的实用化。

另一位创始人AdityaGrover曾在MetaFAIR担任研究科学家。

攻读博士学位期间,他先后在谷歌DeepMind、微软研究院和OpenAI实习。

VolodymyrKuleshov曾在2018年获得ArthurSamuel最佳论文奖。

该团队包括来自GoogleDeepMind、微软、Meta、OpenAI和NVIDIA的资深人士,目前正专注于用扩散技术改进大模型性能。

InceptionLabs还开放了Mercury模型的在线体验平台。

感兴趣的朋友可点击下方链接体验~

论文地址:https://arxiv.org/abs/2506.17298Mercury在线体验平台:https://chat.inceptionlabs.ai/

参考链接:https://news.ycombinator.com/item?id=44489690

  2019年9月,国务院办公厅印发《关于促进全民健身和体育消费推动体育产业高质量发展的意见》,其中提到推动体育赛事职业化,支持发展体育经纪人队伍,挖掘体育明星市场价值。2019年12月,国家体育总局发布废止部分规范性文件的通知,《关于对国家队运动员商业活动试行合同管理的通知》等限制运动员商业活动的规定被废止。曾文莉认为,即便如此,目前国内体育经济的价值还有待充分释放。她对已走上职业化道路多年的网球充满希望,认为网球市场可能是一个突破口。

责编:硕智阳编辑

表妹万福

  2018年自然资源部成立后,钟自然任自然资源部党组成员,中国地质调查局局长、党组书记。直至2022年9月卸任。今年1月2日,即2024年首个工作日,其官宣被查。

常州气晕了一只小恐龙

  “要完善科技创新体系,积极对接国家战略科技力量和资源,优化完善创新资源布局,努力攻克一批关键核心技术,着力打造西部地区创新高地。”

美称预计不会对伊朗发动后续袭击

  据官网介绍,四川绵阳是我国重要国防军工和科研生产基地,邓稼先、于敏等9位“两弹一星”元勋和成千上万的科技精英在这里“干惊天动地事、做隐姓埋名人”。

买件衣服不能试穿回家发现穿不上

  6月17日,澎湃新闻(www.thepaper.cn)从陈政高同志多位亲友处获悉,住房和城乡建设部原部长、党组书记陈政高同志,因病于2024年6月16日在北京逝世,享年72岁。

美军轰炸机袭击伊朗核设施

  详细剖析两个企业补税案例,也能一定程度上消除上述担忧。枝江酒业之所以被要求补缴8500万元消费税,直接原因是审计部门发现问题,税务部门据此执行。

万茜拿了影后输了钱

  中国煤矿文工团成立于1947年东北解放区,是国家级艺术院团中历史最悠久的单位之一。2005年,加挂了“中国安全生产艺术团”的牌子。2018年9月,转隶到文化和旅游部。/p>

马景涛直播晕倒

  李瀚明表示,乌鲁木齐机场的国际航线虽然多,但不强。比如国际航班量占比较少,国际航班密度不够,国际航线集中在中亚、西亚。香港航线实际上是乌鲁木齐唯一一条向东直飞的国际和地区航线。/p>

四季民福排队

  进一步改进工作作风,严格要求自己,求真务实,真抓实干,坚持以人民为中心的创作导向,强化“国家队”意识,努力以优秀作品向着艺术“高峰”不断攀登。