中国互联网协会
中国信息通信研究院
天翼安全科技有限公司
白旭 13331096408；孙丽洁 18611066845；田金英18110027165
“金灵光杯”中国互联网创新大赛“人工智能安全”专题赛聚焦“安全for AI”与“AI for安全”两大方向，涵盖环境、数据、模型、应用及智能安全五大赛道，诚邀各方携创新实践项目参与！
本次项目征集围绕人工智能在安全for AI和AI for安全两大领域的创新应用，其中安全 for AI包括：算力环境安全、数据安全、模型安全与应用安全四个方向，AI for安全主要聚焦AI驱动的智能安全赛道，系统征集具有前瞻性、创新性与工程落地价值的智算安全实践项目，覆盖人工智能从基础设施到业务应用的全生命周期安全风险，提交内容可包含但不局限于以下五个方向中的具体示例。
【一、安全for AI】
方向一：环境安全
核心目标：聚焦人工智能运行所依赖的算力环境与智能硬件，重点关注算力资源、运行环境以及物理载体在多租户、高并发、异构计算条件下的安全可信问题。
1.智算基础设施与算力卡安全
关注 GPU 等算力卡在虚拟化、多租户和弹性调度场景下的隔离与可信问题，防范算力越权使用、资源滥用、侧信道攻击以及底层固件和驱动被篡改等风险。
2.智算平台与运行环境安全
面向容器、虚拟机和推理服务等运行环境，探索 AI 服务在部署、调度和运行过程中的安全防护与风险监测机制，保障模型服务稳定、可控运行。
3.具身智能与 AI 硬件安全
聚焦机器人、无人系统等具身智能场景，关注传感器欺骗、控制指令注入以及软硬件协同运行带来的新型安全风险，提升 AI 硬件在真实物理环境中的安全可靠性。
真实热点事件：近年来，围绕 NVIDIA 对华销售的 H20 等算力芯片，业界广泛关注其在设计层面是否可能存在远程管理、状态回传、定位追踪或远程失效控制（Kill Switch）等能力。相关讨论引发了对高端算力芯片在关键场景中可控性与可信性的安全担忧，也促使行业重新审视智算基础设施在供应链安全、算力主权和运行可控性方面的潜在风险。
方向二：数据安全
核心目标：聚焦人工智能在训练、微调、推理与检索增强过程中涉及的数据与语料安全问题，防止不可信数据对模型行为和输出结果产生长期、隐蔽的负面影响。
1.训练语料与数据投毒防护
关注训练与微调阶段的数据安全治理，研究对恶意投毒样本、后门触发样本的识别与清洗能力，保障模型学习过程的纯净性与可信性。
2.RAG 与知识库数据安全
面向检索增强生成（RAG）场景，探索知识库投毒、恶意文档注入等风险的识别与防御机制，提升模型在动态知识获取过程中的安全性。
3.AI 场景下的数据隐私与合规保护
研究成员推理、数据重构等隐私攻击风险，以及差分隐私、联邦学习等技术在大模型场景下的落地实践，推动 AI 数据使用的安全与合规。
真实热点事件：2023年，芝加哥大学团队发布了名为“Nightshade”的工具。艺术家可以用它向自己的作品中加入人眼不可见的改动。如果这些图像未经许可被用于AI训练，就会“毒化”模型，使其产生混乱的输出，例如在被要求生成“狗”的图像时却生成了“猫”。该事件真实地揭示了数据投毒攻击的风险。
方向三：模型及智能体安全
核心目标：聚焦大模型与智能体在推理、决策和执行过程中的内生安全问题，防止模型被诱导、被操控或在复杂交互中偏离预期行为。
1.大模型内生安全防护
针对提示注入、越狱攻击等问题，探索模型层或系统层的防御机制，提升模型在多轮对话和复杂语义场景下的稳健性与可控性。
2.模型后门与完整性保障
关注模型训练、交付和部署过程中的后门植入、模型篡改等风险，研究模型完整性验证与供应链安全保障方法。
3.智能体安全治理
面向智能体调用工具、执行代码和多智能体协作场景，探索越权调用、指令劫持和逻辑诱导等风险的识别与管控机制，保障智能体行为符合预期。
真实热点事件：2023年，“祖母漏洞”在网络上流传。用户通过一个角色扮演提示，要求AI扮演已故的祖母，以“哄我入睡”为借口，讲述制造危险化学品的步骤。AI模型在角色扮演的诱导下，绕过了自身安全限制，输出了有害内容。此事件是典型的提示注入攻击，暴露了模型的内生安全风险。
方向四：应用安全
核心目标：聚焦人工智能在实际业务与社会场景中的安全应用与风险治理问题，推动 AI 技术在赋能安全的同时防止其被恶意滥用。
1.AIGC 内容安全
检测与过滤模型自身生成的深度伪造、虚假信息、恶意代码等违规内容。
2.AI生成内容的版权认定与保护
聚焦AI生成内容的数字水印与版权认定，实时防止生成过程中的侵权行为。
3.信息通信网络人工智能应用及安全
聚焦于人工智能在移动通信、固定通信等关键信息通信网络的“规、建、运、优、维”环节中深度应用时所面临的新型安全挑战。
真实热点事件：2024年2月，香港发生一起2亿港元的AI诈骗案。一名公司职员参加了一场多人视频会议，会议中除他以外的所有“参会者”均由AI深度伪造技术实时生成。在这些伪造的“领导”和“同事”的指示下，该职员将巨款转出。此案显示了AIGC技术滥用带来的严重威胁。
【二、AI for安全】
方向：AI驱动的智能安全
核心目标：聚焦利用人工智能技术（如机器学习、深度学习、大语言模型）提升传统网络安全、数据安全、业务安全防护能力的场景。
1.自动化安全运营
探索利用大模型和智能体能力提升安全运营效率，如辅助告警研判、攻击溯源、攻击面管理与防御策略生成，推动安全运营向智能化演进。
2.自动化攻防
关注 AI 在漏洞挖掘、渗透测试和攻防对抗中的应用，探索利用模型进行攻击路径推理和防御决策优化的可行方案。
3.智能代码审计
基于大模型的自动化代码安全审计、隐私数据识别与合规检测。
热点事件： 2023年底，微软正式推出AI安全产品 “Security Copilot”。2024年初，微软安全团队披露，其利用该工具成功处置了一起复杂的供应链攻击。攻击者入侵了某商业软件供应商，在其更新包中植入后门。Security Copilot通过自然语言交互，在几分钟内便完成了以下传统上需要安全分析师数小时甚至数天的手动工作。
（二）申报主体
1.科研机构组：侧重理论创新、算法突破，需提供论文或实验数据支撑。
2.企业组：侧重工程化落地、商业价值，需提供产品原型或客户案例。
（三）初赛提交材料
1.《项目申报书》（必选）
2.技术验证材料（加分项）