蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上

专题:2026北京智源大会

蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上-第1张图片

  6月12日至13日 ,2026第八届北京智源大会在北京中关村国际创新中心举行。蚂蚁技术研究院深度学习实验室负责人李建国出席并演讲。

  李建国表示,扩散模型或将成为语言模型下一阶段的重要发展方向和补充,其在生成速度和可编辑性方面展现出显著优势 。

  他解释到 ,扩散模型在图像生成领域已是主流范式,应用非常广泛。正向过程是通过对图像逐步添加噪声直至变为白噪声,反向过程是从白噪声中逐步去噪 ,恢复出原始图像。

  而在语言领域,当前主流范式是“Next Token Prediction” 。“就像打字机一样,我前面打出一个字 ,后面接着就依赖前面去产生下一个字。扩散语言模型则将图像领域的范式迁移到语言中,可以像印刷机一样批量、成批地输出词元。 ”

  李建国以今年2月发布的LLaDA 2.1模型(可编辑扩散生成)与蚂蚁百灵2.0模型(100B参数)对比为例 。LLaDA的生成速度约为1000 token/秒,而百灵2.0约为200 token/秒 ,速度相差4倍以上。

  他指出 ,从核心特性看,有两个速度,一个是传统的AR模型 ,一次只输出一个token,即使采用投机采样方法(如MTP)也只能做到2-3个。另外一个速度,就是扩散语言模型 ,起步平均能做到5-6个,在代码生成、智能体等场景中,实际观察可超过10个 ,最高可达15个 。

  此外,扩散语言模型的另一个重要特性是可改写性。例如在生成过程中某个字出现错误,可以通过“悔改”机制只修改错误的那一个位置 ,而无需重新生成整个序列。

  新浪声明:所有会议实录均为现场速记整理,未经演讲者审阅,新浪网登载此文出于传递更多信息之目的 ,并不意味着赞同其观点或证实其描述 。

标签:

相关推荐

  • 【石油沥青期货行情变化,石油沥青期货交易时间】

    【石油沥青期货行情变化,石油沥青期货交易时间】

    世界沥青市场最新费用动态〖壹〗、近期进口沥青世界市场费用受地缘政治、供应、需求等多重因素影响,整体呈现波动上涨态势,国内进口沥青借鉴费用同步联动世界市场走势近期费用具体动态期货市场:2025年3月26日,上期所沥青期货主力合约大幅上涨81%,报4527元/吨,盘中比较高触及4534元/吨,最低下探4361元/吨。〖贰〗、沥青一吨的费用大约在800元到3...

  • 深铁集团迎人事变动,黄力平升任董事长,总经理岗位暂空缺

    深铁集团迎人事变动,黄力平升任董事长,总经理岗位暂空缺

      6月30日,深圳市地铁集团有限公司(以下简称“深铁集团”)对外发布关于董事长及总经理变动的公告。  公告显示,根据相关任免文件,黄力平出任深铁集团董事长,同时免去其集团总经理职务;公告发布当日,集团总经理职位尚未完成新任人员任命,处于空缺状态。  公告提到,黄力平生于1968年,汉族,中共党员,拥有研究生学历、工学硕士学位,曾任深圳市工勘岩土工程公司...

    2026/07/01
  • 红富士苹果元旦行情(今年红富士苹果行情走势)

    红富士苹果元旦行情(今年红富士苹果行情走势)

    2025年12月22号富士苹果费用〖壹〗、025年12月22日富士苹果全国批发费用范围为20元/公斤至200元/公斤,不同市场费用差异显著。以下为具体分析:全国费用总体范围根据当日行情,富士苹果批发费用呈现明显梯度。比较高报价为200元/公斤,最低报价为20元/公斤,价差达180元/公斤。〖贰〗、025年12月中国单颗苹果费用因品种、产地、市场层级不同存在...

  • 【天津限号查询今天,外地车进天津几点限行】

    【天津限号查询今天,外地车进天津几点限行】

    天津限号吗外地车限行吗〖壹〗、天津外环线不限号,但有限行规定。以下是关于天津外环线限行时间和规定的详细说明:限行范围天津限行范围是外环线以内(不含外环线)。这意味着,外环线本身并不在限行范围内,但外环线以内的道路则受到限行规定的约束。〖贰〗、根据《天津市公安局关于继续实施机动车限行交通管理措施的通告(2024年)》的规定,外地新能源车辆在天津不限行。早晚...

  • 国内银期货行情(期货银商品行情怎么样)

    国内银期货行情(期货银商品行情怎么样)

    国内白银费用走势最低点为89元/克,比较高点为56元/克,这一区间反映了市场供需、全球经济形势及投资需求等多重因素的综合影响。例如,2020年受全球疫情冲击,工业需求短暂萎缩,费用一度接近区间下限;而2021年经济复苏预期增强,费用回升至5元/克以上。白银费用在过去五十年间经历了多次周期性波动,但受限于搜索结果,以下主要基于2024–2026年的近期走势进...

  • 2683只股短线走稳 站上五日均线

    2683只股短线走稳 站上五日均线

      证券时报·数据宝统计,截至今日上午收盘,上证综指4138.65点,收于五日均线之上,涨跌幅1.08%,A股总成交额为24352.43亿元。到目前为止,今日有2683只A股价格突破了五日均线,其中乖离率较大的个股有*ST同辉、联创股份、大禹生物等,乖离率分别为22.92%、15.96%、15.72%;西部黄金、瑞丰高材、索通发展等个股乖离率较小,刚刚站上五...

    2026/07/01
  • 【螺纹钢今日行情,螺纹钢今日行情最新费用走势】

    【螺纹钢今日行情,螺纹钢今日行情最新费用走势】

    凯里市面卖的螺纹钢多少钱一吨〖壹〗、近来公开信息未明确披露凯里市面螺纹钢的实时售价国内公开渠道可借鉴的螺纹钢行情数据如下:国内公开螺纹钢费用借鉴2026年5月22日,国内城市Ф25mm三级螺纹钢平均费用为3569元/吨,较前一日下跌4元/吨。2026年5月8日后,HRB400E型号18mm规格螺纹钢售价为3340元/吨。〖贰〗、近来公开信息未明确凯里...

  • 水井坊召开2025年度股东会:以结构优化替代规模扩张,持续推进渠道库存优化

    水井坊召开2025年度股东会:以结构优化替代规模扩张,持续推进渠道库存优化

      6月30日,水井坊2025年度股东会在成都召开。面对行业深度调整,公司总经理干晓峰表示,公司坚持长期主义,围绕“平衡基础、深化调整、夯实发展”展开主动管理,以结构优化替代规模扩张,持续推进渠道库存优化、产品创新及场景化布局。2026年一季度公司收入环比增长18%,利润环比增长114.13%,门店动销同比增长5%,渠道效率和库存质量进一步提升。(文章来源:...

    2026/07/01
  • 联得装备成交额创上市以来新高

    联得装备成交额创上市以来新高

      数据宝统计,截至10:48,联得装备成交额13.05亿元,创上市以来新高。最新股价下跌6.86%,换手率24.38%。上一交易日该股全天成交额为8.63亿元。  据天眼查APP显示,深圳市联得自动化装备股份有限公司成立于2002年06月07日,注册资本18546.1376万人民币。(数据宝)(文章来源:证券时报网)...

    2026/07/01
  • 【麸皮行情,麸皮行情卓创】

    【麸皮行情,麸皮行情卓创】

    养肉驴一年能挣多少钱养肉驴一年的收益因养殖规模、模式和行情差异较大,普通农户散养10头年利润约5万元,规模化短期育肥100头年利润可达15万元以上。普通养殖模式按当前市场行情,购买200斤以上的肉驴仔每头成本约2500-3000元,养殖10个月出栏体重达600斤左右。养殖10头肉驴一年的利润大约在四五万元人民币。肉驴通常养殖8至10个月,按照最长的10个...

    2026/07/01
返回顶部