360首席科学家潘剑锋:智能体安全的核心,是驾驭AI不确定性

  新浪科技讯 6月26日下午消息,在ISC.AI 2026大会期间 ,360集团首席科学家、集团高级副总裁潘剑锋表示,“去年大家还在怀疑,AI能不能干好漏洞挖掘的活儿;今年 ,AI漏洞挖掘已经把安全人员逼到了墙角。”

360首席科学家潘剑锋:智能体安全的核心,是驾驭AI不确定性-第1张图片

  在他看来,这并非安全人员的淘汰危机 ,而是整个行业加速升级的信号,并针对智能体的天然安全短板,提出了“驾驭AI不确定性”的全新安全治理范式。

360首席科学家潘剑锋:智能体安全的核心	,是驾驭AI不确定性-第2张图片

  潘剑锋认为,传统安全面临的挑战,并不只是攻击手段增多 、攻击速度加快 ,更深层的原因是计算逻辑发生了变化 。

  传统软件建立在确定性计算之上 ,人把不确定的世界抽象、建模为确定的计算,这是人适应机器。但大模型出现之后,计算从确定走向了不确定 ,模型能够直接处理模糊、开放 、充满变化的真实世界任务,机器可以理解人类意图、反过来去适应人了。

  这种不确定性赋予了AI推理、创造和处理复杂任务的能力,也成为智能体新型安全风险的根源 。即便输入相同的任务 ,智能体也可能产生不同的理解 、推理路径和行动结果。

  潘剑锋将这种不确定性分为一体两面。

  一面来自外部 。攻击者不再需要直接下达明显的恶意指令,而可以把恶意意图隐藏在用户输入、系统提示、工具返回等内容中。人未必能看出其中的危险,大模型却可能“读懂 ”隐藏指令 ,进而实现模型注入 、指令覆盖等。

  另一面来自内部 。大模型依赖统计规律生成结果,不具备对现实世界的完整、稳定认知,因此无法彻底避免幻觉 ,比如编造不存在的实体、对事件顺序和持续时间的认知错误等。同时,当智能体开始连续推理 、调用工具,甚至与其他智能体协同工作时 ,一个看似微小的判断错误 ,可能沿着任务链不断传递和放大。

  潘剑锋认为,智能体时代的安全目标需要从“防御确定威胁”,转向“管控不确定性” 。

  围绕这一变化 ,潘剑锋在主题演讲中提出了360智能体安全治理的整体思路:在输入层识别恶意意图,在推理层减少幻觉和错误判断,在执行层限制智能体的行动边界 。这套思路背后的逻辑是 ,不确定性很难被彻底消除,但可以被识别 、约束和兜底。换句话说,安全不能保证AI永远不犯错 ,但必须确保错误不会直接演变成安全事故。

  在输入层,360通过恶意意图识别引擎,识别隐藏在用户输入、系统提示、工具返回中的攻击意图 ,防止智能体被诱导 、越狱或劫持任务目标,其解决的核心思路是“以模治模 ” 。对于外界普遍关注的360差异化问题,潘剑锋将关键归结为两个字:数据。

  “恶意意图识别模型的专项训练越来越由数据决定。”他表示 ,360长期积累了搜索、安全攻防及监管合规等多类数据 ,形成了一般安全厂商难以获得的语料资源 。实测显示,接入360恶意意图识别引擎后,开源大模型的整体安全性可提升10%至30%。

  在推理层 ,360通过自研的世界认知模型,为大模型提供理解世界内在机制、预测未来状态 、辅助决策的“认知锚点”,约束和引导大语言模型的推理过程 ,从根源上抑制大语言模型的幻觉。

  在执行层,环境孪生沙箱则为智能体划定安全的行动半径,对工具调用、数据访问和系统操作进行监控 ,出现异常时及时拦截和回滚 。

  对于未来的市场格局,潘剑锋判断,智能体安全将成为每个智能体的标配基础设施。

  但这一市场不会被一家厂商完全垄断。“它可能更像手机行业 ,几家大型厂商占据主要市场,同时不同细分领域仍然存在大量专业化空间 。 ”

  他同时强调,AI厂商并不会因为模型能力增强 ,就直接取代安全公司。安全仍然是一个高度垂直、依赖攻防经验和行业知识的专业领域。但AI的发展 ,已经开始重新划定安全行业的门槛 。

标签:

相关推荐

  • 浦东机场疫情/上海浦东机场,疫情

    浦东机场疫情/上海浦东机场,疫情

    听说赴美留学生把上海浦东机场给堵了?上海浦东机场赴美留学生排队现象属实,但“堵机场”表述夸张;当前赴美留学需理性评估风险,是否为最优选取因人而异,且与“敢死队”的联想毫无逻辑关联。赴美留学热潮与机场排长队现象美国放开留学生赴美限制:自8月1日起,美国放开了留学生赴美的限制,持有F/M签证的学生可直接由中国前往美国。这一政策调整使得大量中国留学生开始规划赴美...

    2026/06/29
  • 【废铜价期货行情走势,今日废铜期货】

    【废铜价期货行情走势,今日废铜期货】

    铜电线行情截至2026年5月及4月底的公开信息,国内铜电线交易及回收行情中,华东地区(上海、江苏、浙江)行情比较好,华北地区(北京、天津)表现紧随其后,华南、西南、东北地区行情相对偏弱。公开借鉴的回收类铜材费用光亮铜线(国标电缆拆解、无氧化):华东、华南地区回收价约44-47元/斤,华北济南约43元/斤,西南成渝地区约47-48元/斤;上海市场1电解铜现...

  • 伦敦锌今日行情(今日伦敦锌费用走势)

    伦敦锌今日行情(今日伦敦锌费用走势)

    伦敦lme锌期货交易实时行情伦锌期货LME实时行情与600528股票无关。以下是针对这两个概念的详细解伦锌期货LME实时行情:定义:伦锌期货LME指的是在伦敦金属交易所(LondonMetalExchange,简称LME)上进行交易的锌期货合约的实时行情。LME是全球最重要的金属交易所之一,提供包括锌在内的多种金属的期货和现货交易。查询锌实时行情的三大...

  • 【北京新增病例详情公布,北京新增确诊病例详情】

    【北京新增病例详情公布,北京新增确诊病例详情】

    北京6月14日0时至7时新增8例确诊病例,详情来了丨权威发布病例1性别年龄:某男,48岁籍贯:河北唐山工作单位:北京新发地市场现住址:丰台区发现与诊断:12日在疫情溯源采样检测中发现核酸检测阳性,13日出现头疼症状,经专家会诊为确诊病例,临床分型为轻型。月18日北京大学世界医院报告1例新冠肺炎确诊病例,为急诊科护士,昌平区已对医院采取封闭管理措施并...

  • 全球科技股同步回调 AI主线地位不改但再平衡需求上升

    全球科技股同步回调 AI主线地位不改但再平衡需求上升

      ◎记者汪友若  上周全球市场科技产业链同步震荡,海外相关赛道估值下行对A股构成传导压力,A股呈现“冲高回落,极致分化”格局。综合本周券商策略研报来看,美联储加息预期反复、科技板块交易拥挤度抬升,以及AI产业面消息扰动共同压制了科技板块风险偏好。在中期维度上,AI产业上行趋势尚未出现实质性拐点,各细分赛道景气度持续兑现,行情延续的基础仍存。  科技产业基本...

    2026/06/29
  • 住建部:细化标准高质量开展传统村落和传统建筑保护

    住建部:细化标准高质量开展传统村落和传统建筑保护

      住房城乡建设部副部长秦海翔28日表示,要健全传统村落和传统建筑保护利用的相关标准规范,细化保护、修复、修缮、更新及活化利用等方面的技术标准,防止片面化和简单化操作,为更高质量开展传统村落和传统建筑保护利用提供技术支撑。  截至目前,我国共有8155个村落列入中国传统村落保护名录并实施了挂牌保护,超过5000个村落列入省级传统村落保护名录。2026年至20...

    2026/06/29
  • 31省份新增11例/31省份新增11例确诊

    31省份新增11例/31省份新增11例确诊

    31省份新增本土“86+206”省份新增本土“86+206”例主要涉及的省份及具体情况如下:本土确诊病例(86例)分布:甘肃新增36例,为当日本土确诊病例数比较多的省份;广东新增32例,是南方地区病例集中的省份;上海新增5例,显示其仍存在局部传播风险;江西新增5例;海南新增3例;江苏新增2例;内蒙古、河南、重庆各新增1例。国内疫情又爆发了吗,国内疫情防控、...

  • 【郑州新冠疫情最新消息,郑州新冠疫情最新情况】

    【郑州新冠疫情最新消息,郑州新冠疫情最新情况】

    郑州疫情解封真相?明确自11月1日6时起,调整管控区域,有序恢复正常生产生活秩序。这一通告是郑州疫情解封的官方依据,表明郑州市根据疫情防控形势,对管控措施进行了科学调整。解封后的实际情况解封后,部分区域可能并未立即恢复完全正常的状态。有描述称,在去做核酸的路上,街道依然空空荡荡,偶然看见的车辆多为运输物资的。郑州已经全面解封。近来全国范围内已经没有了高风...

  • 哈尔滨疫情最新消息今天封城了/哈尔滨疫情最新进展

    哈尔滨疫情最新消息今天封城了/哈尔滨疫情最新进展

    2020年哈尔滨疫情封城时间〖壹〗、020年哈尔滨共封城5次。1月9号望奎归来,主动报备,隔离及时,没有扩散,此次疫情很快结束。8月3日开始到8月12号结束,没有病历。9月21号开始到10月15号结束。学生线上、密闭场所关闭、同时密接、次密接出现,开始大面积封控小区和单元。10月30号开始到11月18号结束。学生线上、密闭场所关闭、由于密接、次密接也一样封...

  • 沧州疫情最新消息(沧州疫情最新消息今天)

    沧州疫情最新消息(沧州疫情最新消息今天)

    2022年的12月3日河北沧州解封了嘛〖壹〗、解封了。通过查询河北沧州疫情防控中心显示:截止至2022年12月8日,该地区属于常态化防控区,2022年的12月3日解封了。河北,简称“冀”,省会石家庄,是中华民族的发祥地之一。河北在战国时期大部分属于赵国和燕国,所以河北又被称为燕赵之地。〖贰〗、可以。截止2022年12月11日,经查阅河北本地宝,不再对跨地区...

返回顶部