多模态大模型正以前所未有的深度“理解”并融合文本、图像、音视频等多维信息,赋予AI世界以视·听·表达的感知能力;与此同时,多智能体系统如同精密运转的大脑网络,驱动着从复杂业务流程到自动化决策的协同演进。
当感知的广度遇上协同的深度,在模型与智能体之间奔流不息的数据,便形成了一条从预训练、检索RAG到跨代理决策的长链条——这也恰恰成为了安全风险的放大器。
一次针对图像数据的隐蔽投毒可能扭曲多智能体的集体判断,一段无法彻底遗忘的违规记忆将在进程中悄然流转,而智能体协作中不经意的权限越界更可能引发链式泄漏。在效率狂飙的AI新时代,如何找到安全与效率的平衡点,为这条动态、异构的数据生命线构筑可信基座?
本届XCon2025大会中,来自上海交通大学计算机学院(网络空间安全学院)的副教授王烁,将带来议题《多模态大模型和多智能体背景下的数据安全问题分析》,详细拆解数据投毒、数据遗忘、数据泄露、数据滥用四大核心威胁,分享构建安全可信的多模态-多智能体生态的创新实践。
在多模态大模型与多智能体系统迅猛发展的背景下,数据安全已成为行业首要挑战。模型从预训练到检索‑增强生成(RAG),再到跨代理协同决策,形成覆盖文本、图像、音频、代码等多源数据的长链路;任何环节的失守都会放大安全与合规的风险。
因此,本报告系统化识别数据投毒、数据遗忘、数据泄漏、数据滥用四类核心威胁,并探讨端到端的防护与治理方法。通过在数据源可信、模型可制衡、Agent 可治理与运维可观测四条纵深上的同步探索,在“安全‑效率”之间找到新的平衡点,构建安全可信的多模态‑多智能体生态。
本报告旨在探索多模态大模型和多智能体背景下的安全机制内生化,在享受 AI 生产力的同时,有效化解数据投毒、遗忘、泄漏与滥用带来的复合风险。
数据投毒:攻击者向训练集、向量库或在线检索源插入误导性文本/图像,操纵输出甚至致使模型崩溃。
数据遗忘(机器反遗忘):监管或用户要求删除样本,而“记忆”已分散于权重。现有机器 Unlearning 研究提出选择性权重重参数化,无需全量重训即可删忘。
数据滥用:恶意方把模型或代理编排为“脚本工厂”生成钓鱼邮件、舆论操纵或漏洞利用。
标准与合规强化:ISO/IEC 42001、EU AI Act 草案正扩展“可验证遗忘”与“跨模态 Provenance”条款;云安全联盟亦关注 AI 模型“被遗忘权”可实现性。
安全部署模式下沉:边缘‑一体机 + 私域知识库成为敏感行业(金融、医疗、政务)合规首选;AI Firewall 与模型代理网关逐步内置于硬件交付包 。
自治防御与协同:未来代理不仅是风险源,也将充当安全副驾驶:自动巡检、异常回滚、动态策略调优。
滥用情报共享:厂商正建立跨平台 Misuse Feed;生成式钓鱼和影响力运营将进入“快速发现‑速阻断”周期。
王烁,上海交通大学计算机学院副教授,博导,上海交通大学无锡区块链高等研究中心副主任。国家青年高层次人才,上海领军人才(青年)。
研究方向聚焦人工智能安全与隐私,发表学术论文60余篇,包括安全领域四大顶会与期刊。曾获澳大利亚国家级创新奖iAward, 2023年软件领域顶级会议ESEC/FSE杰出论文奖,2024年安全领域顶级会议NDSS最佳论文提名奖。
研究成果应用在公安网安和网信办实战中。研发了一系列公共安全领域开源平台和工具,包括“大模型安全靶场”、AI安全社区和“AI安全漏洞库”。带领团队获2024年全球AI攻防挑战赛杰出方案奖,相关成果在2024乌镇世界互联网大会上展出。研发可信医学大模型矩阵赋能消化道重大疾病和罕见病诊疗,相关成果获得包括人民网、新华网、光明网等100多家官方媒体广泛报道。研究成果入选“一带一路”十大人工智能应用场景,全国颠覆性技术,以及“全球人工智能赋能可持续发展十大卓越案例”。
现任计算机安全顶级期刊IEEE TIFS副主编、IEEE TDSC副主编,中国通信学会可信通信技术专委会委员兼学术秘书,中国计算机学会计算机安全专委会执行委员,以及知名国际学术会议与期刊PC成员和编委。
【学生票】¥398元,XCon2025全场通——含:深度场+无界场+极客市集+展商专区+招聘专区
*特别说明:购买学生票,现场验票时,须出示有效期内学生证。如无法提供有效证件,需按普通票补齐票价
【普通票】¥2790元,XCon2025全场通——含:深度场+无界场+极客市集+展商专区+招聘专区