你的AI模型有哪些安全事件，在这份AI攻防“词典”里都能查到
发布时间：2021-08-14 12:42:43 所属栏目：大数据 来源：互联网
导读：目前，AI技术在人脸支付、人脸安防、语音识别、机器翻译等众多场景得到了广 泛的使用，AI系统的安全性问题也引起了业界越来越多的关注。 针对AI模型的恶意攻击可以给用户带来巨大的安全风险。 例如，攻击者可能通过特制的攻击贴纸来欺骗人脸识 别系统，从而
|
目前，AI技术在人脸支付、人脸安防、语音识别、机器翻译等众多场景得到了广 泛的使用，AI系统的安全性问题也引起了业界越来越多的关注。
针对AI模型的恶意攻击可以给用户带来巨大的安全风险。
例如，攻击者可能通过特制的攻击贴纸来欺骗人脸识 别系统，从而带来生命财产损失。
为了应对AI模型各个环节可能存在的安全风险，并给出相应的防 御建议，今天腾讯正式发布业内首个AI安全攻击矩阵。
你的AI模型有哪些安全问题，在这份AI攻防“词典”里都能查到
△ AI安全的威胁风险矩阵
该矩阵由腾讯两大实验室腾讯AI lab和朱雀实验室联合编纂，并借鉴了网络攻防领域中较为成熟的ATT&CK开源安全研究框架，全面分析了攻击者视角下的战术、技术和流程。
腾讯AI安全攻击矩阵从以下7个维度展开了21种AI安全攻击与防御方法。
AI模型开发前遇到的攻击方式有：
环境依赖：依赖软件攻击、Docker恶意访问、硬件后门攻击、供应链攻击
数据搜集整理：数据投毒、数据后门攻击
你的AI模型有哪些安全问题，在这份AI攻防“词典”里都能查到
模型训练：梯度中数据恢复、初始权重修改、代码攻击、训练后门攻击、非集中式场景
模型部署：模型数据恢复、模型文件攻击
你的AI模型有哪些安全问题，在这份AI攻防“词典”里都能查到
模型使用：数字对抗攻击、物理对抗攻击、模型窃取、GPU/CPU溢出破坏
你的AI模型有哪些安全问题，在这份AI攻防“词典”里都能查到
模型架构：查询式架构窃取、侧信道架构窃取
结果影响：模型误判、信息泄露
这份AI安全攻防矩阵包含：从AI模型开发前的环境搭建，到模型的训练部署，以及后期的使用维护。囊括了整个AI产品生命周期中可能遇到的安全问题，并给出相应策略。
该矩阵能够像字典一样便捷使用。研究人员和开发人员根据AI部署运营的基本情况，就可对照风险矩阵排查可能存在的安全问题，并根据推荐的防御建议，降低已知的安全风险。
研究人员将各种攻击方式标记了较成熟、研究中、潜在威胁三种成熟度，AI开发者可以直观了解不同攻击技术对AI模型的危险程度。
据腾讯AI Lab介绍，矩阵编撰的核心难点在于如何选取和梳理AI系统安全问题的分析角度。作为一种与其他软硬件结合运作的应用程序，AI系统安全的分析切入角度与传统互联网产品并不完全一致。
经过充分调研，团队最终选择从AI研发部署生命周期的角度切入，总结归纳出AI系统在不同阶段所面临的安全风险，从全局视角来审视AI的自身安全。
除了聚焦机器学习、计算机视觉、语音识别及自然语言处理等四大基础研究领域外，腾讯AI Lab也在持续关注AI领域的安全性研究，助力可信的AI系统设计与部署。
你的AI模型有哪些安全问题，在这份AI攻防“词典”里都能查到
腾讯朱雀实验室则专注于实战攻击技术研究和AI安全技术研究，以攻促防，守护腾讯业务及用户安全。
你的AI模型有哪些安全问题，在这份AI攻防“词典”里都能查到
此前朱雀实验室就曾模拟实战中的黑客攻击路径，直接控制AI模型的神经元，为模型“植入后门”，在几乎无感的情况下，实现完整的攻击验证，这也是业内首个利用AI模型文件直接产生后门效果的攻击研究。
 （编辑：宁德站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
