国泰君安证券：安全可控AI：安全的“A”可控的“I”.pdf

《国泰君安证券：安全可控AI：安全的“A”可控的“I”.pdf》由会员分享，可在线阅读，更多相关《国泰君安证券：安全可控AI：安全的“A”可控的“I”.pdf（37页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、请务必阅读正文之后的免责条款部分 2019 年 03 月 24 日 ， 07 期 安全可控 AI：安全的“A” ，可控的“I” 摘要： 本期产业观察聚焦于 AI 的安全可控，近五年 AI 爆发式地发展，并持续向各行业渗透。随着渗透率提 升，AI 的局限和问题逐渐暴露，如对抗样本带来的安全隐患、原理不可解释等。能真正落地，并用于 关键应用场景的必须是安全、可控、可理解的 AI，不然很难说服用户买单，尤其是企业级、政府级客 户。解决这些问题，我们重点关注 AI DevSecOps、AI 赋能下的信息安全和可解释 AI 细分赛道的发 展机遇。 AI 在各行业持续渗透，市场预期处于前所未有的高点。本次

2、人工智能 AI 热潮从 2012 年开始发 展，并随着谷歌 AlphaGo、AlphaZero 一次又一次战胜人类棋手而引爆。在产业层面，基于深 度学习的 AI 确实被用于各个技术领域，如计算机视觉、语音识别、自然语言处理 NLP 等，并在 各行业的应用场景中持续渗透，部分应用已开始商用，比如智能语音客服、医疗影像识别等。 然而 AI 离真正落地还有差距，存在安全隐患和潜在社会问题。从 2012 年至今，AI 从训练到普 及存在较多问题：1）AI 训练平台被发现致命漏洞；2）能通过对抗样本操控 AI 的判断；3）用 AI 做好事，事倍功半，用来做坏事，同样危害极大，如后门攻击、电话骚扰、伪造他

3、人信息； 4）AI 决策不可解释、算法偏见等问题引发社会争议。存在致命安全隐患、不可控、不可解释的 AI 难以实现真正落地，也很难说服客户买单，尤其是企业级和政府级客户。 解决问题，打造安全可控 AI，需要科研、产业、政府齐心协力。从当前 AI 到安全可控的 AI 是 个漫长的过程，在此过程中，三个领域至关重要、值得关注。1）可解释 AI、神经网络可视化帮 助人们打开黑箱；2）AI DevSecOps 框架，覆盖 AI 从 0 到 1 到 100 的全生命周期安全；3）AI 赋能安全，更强大的安全工具也能保障 AI 稳定运行，包括基于大数据主动防御。 五大安全 AI 细分领域将迎来发展机遇。五

4、个领域在海外均出现过独角兽、市场空间可期，且安 全巨头们尚未涉足：1）安全信息与事件管理平台 SIEM，瀚思、青藤云；2）身份认证与管理平 台 AM，芯盾、通付盾；3）应用性能管理平台 APM，博睿数据、基调网络；4）应用安全测试 AST，几维安全、思客云；5）应用自我防护 RASP，默安科技、蓝海讯通。 风险提示：对抗样本的危害存在被高估的可能性；可解释 AI 研究进度不及预期； 产业研究中心 作者：鲍雁辛 电话：0755-23976830 邮箱： 资格证书编号：S0880513070005 作者：郑宇舟 电话：021-38676545 邮箱： 资格证书编号：S0880118060037 往

5、期回顾 氢能社会，未来已来日本氢能战 略全解析 2019.03.20 京城的风，已吹向经济 2019.03.05 产业观察_解码新能源车全产业链 2019.02.01 国泰君安_产业观察_美国行之 JPM 医疗健康周，拥抱创新药 2019.01.20 国泰君安_产业观察_从田间到餐桌， 产业巨变开启生活之美 2019.01.14 产业观察： “字节跳动” ，大数据+AI 重塑移动互联 2018.12.25 产业观察 产业观察 请务必阅读正文之后的免责条款部分 2 of 37 目录目录 1. 人工智能，并非所想 . 4 1.1. 处在预期高点 . 4 1.2. 此 AI 非彼 AI . 5 1.

6、3. 持续渗透行业 . 6 1.4. 特性决定局限 . 9 2. 应用部署，问题重重 . 10 2.1. 训练：平台存漏洞 . 10 2.2. 预测：决策被操控 . 11 2.3. 应用：滥用危害重 . 13 2.4. 普及：社会新问题 . 16 3. 安全可控 AI，才能落地普及 . 20 3.1. 产业：打造安全 AI . 20 3.2. 产业：AI 赋能安全 . 22 3.3. 科研：可解释可控 . 29 3.4. 政府：法规限增速 . 31 3.5. 文化：树立价值观 . 34 4. 风险提示 . 35 产业观察 请务必阅读正文之后的免责条款部分 3 of 37 核心逻辑核心逻辑 本次

7、人工智能 AI 热潮从 2012 年开始爆炸式发展，并在各个应用场景中 持续渗透， 部分应用已开始商用，也因此，市场对 AI 的预期处于前所未 有的高点。 然而当前基于深度学习的 AI 存在较多的安全隐患和潜在社会问题，比 如训练平台漏洞重重、对抗样本操控结果、滥用 AI 高效作恶、AI 决策 过程不可解释、算法偏见难以调和等。 存在安全隐患、不可控、不可解释的存在安全隐患、不可控、不可解释的 AI 很难被用户接受，也很难说服很难被用户接受，也很难说服 用户用户买单，特别是企业级、政府级客户。能真正落地，并用于关键应用买单，特别是企业级、政府级客户。能真正落地，并用于关键应用 场景的必须是安全

8、可控的场景的必须是安全可控的 AI。 安全 AI：没有安全隐患的，比如能防御对抗样本的； 可控 AI：决策过程可解释； 从当前的 AI 到安全可控 AI 将会是一个长期持续改善的过程，在此过程 中， 安全可控 AI 相关产业将迎来发展机遇。按照商用落地时间，依次为 AI 赋能安全、AI DevSecOps、可解释 AI，而与 AI 相关的法律法规将伴 随着整个过程持续深化。 图图 1.安全可控安全可控 AI 投资投资时钟时钟 注：2-3 年内有望商用落地成为客户主流选择；数据来源：国泰君安证券研究 产业观察 请务必阅读正文之后的免责条款部分 4 of 37 1. 人工智能，并非所想人工智能，并

9、非所想 1.1. 处处在预期高点在预期高点 人工智能（Artificial Intelligence, 以下简称 AI）概念自 1956 年的达特茅 斯会议上提出以来，已经历了三次潮起、两次潮落。三次潮起都是因为 出现准确率更高的技术路径，而两次潮落分别是因为准确率不达预期、 造价过高等原因。 本次 AI 热潮从 2006 年深度学习泰斗 Hinton 教授在 Nature 上发表一篇 神经网络论文开始发展。随后 2012 年，Hinton 的学生在 ImageNet 图像 识别大赛上获得冠军，其设计研发的 AlexNet 深度神经网络把准确率提 升到 83.6%， 比 2011 年的冠军高了

10、 10.4 个百分点， 实现了质变，并开启 了深度学习 AI 的快速发展阶段，直至今日。 图图 2.AI 经历了三次潮起、两次潮落经历了三次潮起、两次潮落 数据来源：艾瑞咨询 目前目前 AI 处于前所未有的预期高点。处于前所未有的预期高点。经过 6 年的发展，基于深度学习的 AI 在各技术应用上大展拳脚，准确率不断提升，如图像识别、语音识别 等；以 AlphaGo 为首的 AI 模型在多个领域击败人类，再次引爆了整个 AI 产业。从应用端看，融合深度学习技术的产品快速迭代，在 B 端和 C 端市场的渗透率都在快速提升。 产业观察 请务必阅读正文之后的免责条款部分 5 of 37 图图 3.市场

11、对深度学习的期待正处于高点市场对深度学习的期待正处于高点 注： 白色： 2 年内成熟； 浅蓝色： 2-5 年内成熟； 深蓝色： 5-10 年内成熟； 黄色三角：10 年以上成熟；数据来源：Gartner 2018 年数据 图图 4.三三个个方面看方面看 AI 处于高位处于高位 注：学术曲线是深度学习相关论文的数量变化情况；投资曲线是所有 AI 私募股权投融资数量变化情况；舆论曲线来自百度指数对人工智能搜索 热度的变化情况；曲线仅反映频次变化趋势，不反映内容正面或负面； 数据来源：中国知网、百度指数、亿欧智库 1.2. 此此 AI 非彼非彼 AI 然而当前的然而当前的 AI 并非当年的并非当年的

12、 AI，当前的，当前的 AI 主要基于深度学习。主要基于深度学习。早期提 出的 AI 概念，指的是通用型 AI，能完全代替人类的机器人；而当前的 AI 是专用型 AI，主要基于机器学习、深度学习、神经网络算法，只能在 某件具体的事情上胜过人类， 比如谷歌开发的会下围棋的 AI， AlphaGo， 会打星际争霸 2 游戏的 AI，AlphaStar 等。 产业观察 请务必阅读正文之后的免责条款部分 6 of 37 深度学习是通过搭建人工神经网络来归纳总结数据中的规律。深度学习是通过搭建人工神经网络来归纳总结数据中的规律。从外部看， 神经网络可以理解为一个函数模型，把已知数据带入到函数公式中，得

13、出结果。从内部看，神经网络由成百上千个神经元和权重组成，两者相 互作用得出最终判断。 何为学习：何为学习： 模型能自动总结数据中的规律、 特征， 且能随数据更新， 而不断提升性能，与学习的过程相似； 神经网络：神经网络：模型的网络结构模仿人脑神经元的连接方式； 何为深度：何为深度：指的是从输入层到输出层之间的层数。通常层数越多， 解决复杂问题的能力越强。人脑有 1011个神经元、1015个权重，而 目前最大的人造神经网络有 1010个权重，是人脑的十万分之一。 图图 5.神经网络由无数个神经元和权重神经网络由无数个神经元和权重组组成成 数据来源：Stanford University CS23

14、1n、国泰君安证券研究 1.3. 持续渗透行业持续渗透行业 目前正处于以深度学习为主的 AI 模型在向各行各业的细分场景深入渗 透的阶段。其中，数据获取容易的行业，AI 应用成熟度也更高。 表表 1.AI 持续渗透到各行各业的应用场景中持续渗透到各行各业的应用场景中 应用场景应用场景 应用落地情况应用落地情况 典型企业典型企业 企 业 服 务 语音客服 电话推销 语音识别很成熟， 交互还不成熟， 只能实现5 轮对话， 但已大 面积商用； 科大讯飞、 思必 驰、出门问问 精准营销 千人千面 早已大面积应用， 然而在推荐算法的准确度和多样性上仍有提 升空间； 阿里、 第四范式 今日头条 智能运维

15、AI Ops 异常检测、 性能瓶颈分析等场景， 技术已成熟， 推广仍需时间， Gartner 预计全球渗透率 5%-20%； Splunk Moogsoft AI 简历筛选 用 AI 协助筛选简历，将招聘初审完全自动化，在企业市场推 进仍需时日，且存在算法黑箱问题； 谷歌 Hire、 领英 Kronos、Brilent 网络安全 态势感知 SOC 网络安全态势预测尚不成熟， 目前主要是提供数据分析结果和 全网的安全风险情况，辅助管理者做安全战略决策。 CA Tech 启明星辰、360 机器翻译 多语言翻译技术都已很成熟，应用也较广泛，然而离人类水平 还有差距，还无法做到同传； 谷歌 科大讯飞

16、产业观察 请务必阅读正文之后的免责条款部分 7 of 37 表表 1.续上表续上表：AI 持续渗透到各行各业的应用场景中持续渗透到各行各业的应用场景中 应用场景应用场景 应用落地情况应用落地情况 典型企业典型企业 金 融 信贷风险评估 已在头部银行信贷场景中使用； 京东金融 冰鉴科技 AI 反欺诈 用 AI 分析交易行为，筛选出异常交易，交易数据量大、损失 严重，因此存在刚需；在金融、电商、营销行业已有大量落地 案例，部分场景准确率 99%，航空、游戏等行业还有待渗透； PayPal 蚂蚁金服 猛犸智能 计算机视觉 用于车险理赔 将 AI 用于事故现场勘察定损，识别骗保行为，部分场景准确 率达

17、 95%，然而通用性还存问题； 蚂蚁金服 中国平安 智能投研 由于投研涉及行业范围广、影响因素多，目前仅在数据挖掘、 知识图谱、舆情分析上有少量 AI 应用。 Kensho 通联数据 刷脸认证支付 刷脸支付在手机上已经非常成熟，然而在公共场所，干扰因素 较多，仍有提升空间； 蚂蚁金服 京东金融 医 疗 医学影像识别 在识别肺部结节场景中准确率很高，然而不同医院数据差别 大， 推广仍需时日； 推广到其他病灶、 其他影像仍需大量研发； 依图科技 推想科技 辅助诊断决策 让 AI 学习大量医学书籍文献后，根据病人数据，推荐最佳诊 断方案，然而很多医学问题无解，且诊断缺少统一标准，目前 尚早期； IB

18、M Watson 依图医疗 AI 新药研发 用深度学习做化合物筛选，在肿瘤药、心血管药、孤儿药上已 有较多成果； 谷歌 AlphaFold Atomwise 智慧健康管理 国内身体健康管理公司较少， 而精神管理中的情绪调节场景的 公司目前还没有； 妙健康、 Airdoc、 碳云智能 零 售 无人超市 用计算机视觉、RFID 等技术实现无人超市，然而离技术成熟 落地还有较大差距； Amazon Go 天虹 Well Go 苏宁体育 Biu 以图搜物 协助用户更好地找到想要的商品， 基于图像识别的技术已经相 对成熟，在向更多纵深场景推广； 码隆科技 阿里 物 流 智慧仓储管理 技术已相当成熟，在电

19、商以外的仓库还需要定制化改造，全面 渗透还需时日； Kiva 快仓、京东 自动化分拣 机器手根据物料/包裹种类， 分拣到其他流水线， 硬质物体已较 成熟，然而对于软质物体仍有技术阻碍； COBOT 顺丰、 梅卡曼德 AGV 无人驾驶 用计算机视觉改装叉车，实现在工厂内无人驾驶； Balyo 未来机器人 制 造 业 工程机械无人 驾驶 用计算机视觉，实现场景识别、作业路径规划、运输、卸土等 操作，适用于挖掘机、矿用自卸车 百度、小松 Caterpillar AI 协助工艺优 化 工业制造中，很多工艺基于老师傅的经验，现在可以用 AI 将 老师傅的经验转化为模型，帮助优化工艺，然而不同工艺差异 较

20、大，缓慢推进中； Fero Lab 富士康 计算机视觉 用于产品质检 质检是自动化生产中非常依赖人的环节， 部分行业能用图像识 别判断产品质量，在 3C、 汽车、 包装、 五金加工行业已能替代 部分质检环节； 阿丘科技 精锐视觉 预测性运维 工业制造中，设备耗材更换会耽误生产，造成损失，用 AI 可 以预测每块耗材的损耗程度，提前预警安排更换，不同设备、 耗材、工厂数据不同，缓慢推进中； 富士康 创新奇智 AI 优化耗能 AI 分析工厂能耗数据， 优化生产流程， 减少物料、 能源上的损 耗，技术相对成熟，然而不同工厂数据不同，只能逐个击破； 谷歌 DeepMind 西门子、GE 产业观察 请务

21、必阅读正文之后的免责条款部分 8 of 37 表表 1.续上表续上表：AI 持续渗透到各行各业的应用场景中持续渗透到各行各业的应用场景中 应用场景应用场景 应用落地情况应用落地情况 典型企业典型企业 农 业 AI 分析卫星图 指导种田 将 AI 用于分析卫星图，判断田间杂草、养分、虫害等情况， 指导农场更高效地种植，在美国快速推广，国内几乎没有； Descartes Labs IntelinAir 智慧养殖 猪/牛不喜欢看到人，用 AI 识别猪脸，监控每头猪的行为，判 断健康状况，目前有个别试点案例，商用化还不成熟； Cainthus 京东、腾讯 果实采摘 将 AI 用于摘苹果，每秒 1 个，

22、不伤害果实，国外有较多企业 推出商用化产品，国内还没有案例； Aboundant Robotics 安 防 公安监控 已大面积使用，尤其是在数字中国、人大期间； 商汤、依图 旷世、云从 教 育 定制学习方案 技术较为成熟，目前已得到较为广泛的应用，并在各个学习阶 段都有应用且已覆盖多个学科； Knewton 高木学习 自动口语测评 语音识别技术已很成熟，市场推广进程中； 新东方 VIPKID 能 源 智慧电网 尚处于发展的初期阶段， 目前应用主要体现在智能电表和用电 信息采集系统产品方面; 西门子 Grid Edge 辅助油气勘探 基于地面震动等数据，将 AI 用于石油勘探，个别试点项目触 下

23、，还未投入规模化使用； 道达尔、 Chevron Beyond Energy 汽 车 重卡辅助驾驶 重卡运输以高速路段为主， 需要熬夜驾驶， 对辅助驾驶有刚需， 已经能实现 L4，几家车厂都已推出样车，市场推广中； 特斯拉、 图森未 来、中国重汽 公交辅助驾驶 公交线路较固定，部分城市设有公交专用车道，使其无人驾驶 更容易实现，部分地区开始试驾； 沃尔沃 中国重汽 通用辅助驾驶 极少车企达到 L4 辅助驾驶，大部分车企只能实现 L2-L3，依 然要求驾驶员目视前方，手握方向盘； 谷歌 Waymo 家 电 智能音箱 大面积应用，然而用户购买音箱大于智能，交互体验受制于多 轮语音对话的技术瓶颈；

24、亚马逊、谷歌 小米、阿里 陪伴机器人 通过产品化的设计优化用户体验，弥补语音交互的短板，产品 早已大面积推广，多轮对话技术仍有提升空间； 物灵、 科大讯飞 注：实心圆表示 AI 应用完全成熟落地；空心圆表示 AI 应用完全没落地； 数据来源：Gartner、国泰君安证券研究 产业观察 请务必阅读正文之后的免责条款部分 9 of 37 1.4. 特性决定局限特性决定局限 搭建一套基于深度学习的 AI 模型分为四步：数据预处理、训练+验证模 型、测试模型，并持续优化。在模型训练阶段，验证团队基于真实场景 数据，帮助开发团队不断打磨调试模型，直至性能最佳。数据集、模型数据集、模型 的选取， 以及调试

25、过程都堪称艺术， 没有标准化的方法， 也是不同的选取， 以及调试过程都堪称艺术， 没有标准化的方法， 也是不同 AI 应应 用准确性差异的主要原因。用准确性差异的主要原因。 图图 6.搭建深度学习模型分为搭建深度学习模型分为四四步步 数据来源：机器之心、国泰君安证券研究 正因为正因为 AI 无标准方法的训练过程，无标准方法的训练过程，界定界定了了 AI 的特性及局限。的特性及局限。基于深度 学习的 AI 通过神经网络算法提取训练数据的特征，并基于该特征去预 测其他数据，解决实际问题。 表表 2.深度学习的特性及局限深度学习的特性及局限 定义定义拆解拆解 特性与特性与局限局限 通 过 神 经 网

26、 络 算 法 由几百层神经网络构成，层数越多，越能 解决复杂问题； 层数、神经元太多，理解原理非常困难； 提取训练数据的特 征， 利用算法， 较自动地归纳数据的隐藏特征； 严重依赖训练数据集的质量； 并基于该特征去预 测其他数据， 特征源于训练数据，用来判断测试数据集 的情况； 用过去的数据决定未来，或是用一批人的 数据，决定另一批人的表现；用 A 国家的 数据判断 B 国家的情况； 当数据跨度过大时， AI 很难推广到预测其 他数据的情况； 因此谁拥有的数据多、广，谁就掌握数据 霸权，强者垄断。 解决实际问题。 只对现象进行统计归纳，不对其原因进行 推理，使人类很难理解 AI 的脑回路； 很

27、多人类也不知道答案的问题， 等着让 AI 来解答，如何信任 AI 的回答就正确？ 数据来源：国泰君安证券研究 产业观察 请务必阅读正文之后的免责条款部分 10 of 37 2. 应用部署，问题重重应用部署，问题重重 深度学习 AI 快速发展，在各行各业的渗透率都持续提升。然而技术都 有两面性，AI 在改善社会的同时，也暴露出新的问题。我们从 AI 应用 开发到普及的四个阶段来讨论已经出现、即将出现的问题及威胁。 2.1. 训练：平台存漏洞训练：平台存漏洞 AI 模型的训练阶段主要发生在机器学习框架平台上， 如谷歌 TensorFlow、 Facebook Pytorch、 百度 Paddle

28、Paddle 等。 学习平台相当于 AI 的组装厂， 汇集现成的训练数据集、模型库、开源库等。机器学习平台上的漏洞， 就像是食品加工厂混入了病菌， 随时都可能爆发， 更致命危害面积更大。 表表 3.三大主流机器学习框架三大主流机器学习框架 框架框架 开始使用开始使用 开发方开发方 代码量代码量 开源开源库库 TensorFlow 初始版本 2015年11月 稳定版本 2018 年 10月 Google 大脑 887k 97 Caffe 稳定版本 2017 年 4 月 贾扬清 127k 137 Torch 初期版本 2002 年 10月 稳定版本 2017 年 2 月 590k 48 注：201

29、8 年 3 月，Facebook 已将 Caffe 和 Torch 合并为 PyTorch； 数据来源：Security Risks in Deep Leaning Implementations AI 在训练阶段涉及到学习平台、训练数据集、开源模型库等都存在安全 威胁，分为四类：平台自身漏洞、平台上的开源库、数据集存在漏洞， 以及 AI 即服务（AI as a Service，以下简称 AIaaS）平台 API 被利用。 表表 4.四类训练阶段面临的安全威胁四类训练阶段面临的安全威胁 分类分类 漏洞描述漏洞描述 时间时间 漏洞事件漏洞事件 1） 平台本身 存在漏洞 AI 训练平台相当于组装厂

30、， 提供 了训练框架、现成的数据集、第 三方开源模型库等资源；平台开 发还不成熟，依然存在漏洞； 2017 年 12 月 腾讯安全预研团队发现谷歌 TensorFlow 的重 大漏洞。利用该漏洞，攻击者可以生成恶意模 型文件； 被使用时，攻击者就可以窃取、 篡改、 破坏 AI 应用，甚至可以控制整个 AI。越是关 键性的 AI， 危害越严重， 目前该漏洞已被修复； 2） 平台上的 开源库存在 漏洞 很多开源库年久失修，导致攻击 者有迹可循；一旦被攻击，都会 带来严重威胁； 2017 年 12 月 4 日 360 安全实验室、佐治亚大学和弗吉尼亚大学 联合发表论文， 发现三大机器学习框架上的 1

31、5 个漏洞。漏洞源于框架上提供的开源模型库， 如 NumPy、OpenCV 等； 3） 平台上的 数据集被混 入毒药 训练数据中就混有恶意样本，会 很大程度上干扰最终结果； 2018 年 美国东北大学的研究团队以一个判断患者用 药量的 AI 为例。只需加入 8%的恶意数据，就 能使模型对超过 50%的患者提供错误的判断； 4） 利用平台 接口盗取模 型 AIaaS 平台是 AI 时代的新业态， 众多云服务商提出的，帮助客户 训练模型。 黑客可通过 API 接口 调用模型，反推出参数，间接盗 取模型； 2016 年 康奈尔大学团队通过调用亚马逊和 BigML 平 台接口，使用模型，直接复现了该模

32、型。模型 是个黑箱，但团队已知测试数据和 AI 模型识 别的结果，由此反推出黑箱中的参数，复现了 模型，成功率几乎 100%； 数据来源：360 安全实验室、腾讯安全实验室、arxiv、国泰君安证券研究 产业观察 请务必阅读正文之后的免责条款部分 11 of 37 360 安全实验室发现三大机器学习训练平台上，提供的开源库存在的安 全漏洞， 被黑客攻击会带来几种危害， 轻则用户无法使用开源库的功能， 系统崩溃，重则系统管理员权限被篡改、系统直接被远程侵占等。 表表 5.第三方开源库被发现致命漏洞第三方开源库被发现致命漏洞 机器学习机器学习 框架框架 开源开源库库 发现的漏洞发现的漏洞 潜在威胁

33、潜在威胁 是否是否 修复修复 TensorFlow numpy CVE-2017-12852 DOS 拒绝服务 未 TensorFlow wave.py CVE-2017-14144 DOS 拒绝服务 未 Caffe libjasper CVE-2017-9782 获取 root 权限 未 Caffe openEXR CVE-2017-12596 系统崩溃 是 Caffe/Torch opencv CVE-2017-12597 堆栈溢出 是 Caffe/Torch opencv CVE-2017-12598 系统崩溃 是 Caffe/Torch opencv CVE-2017-12599 系统

34、崩溃 是 Caffe/Torch opencv CVE-2017-12600 DOS 拒绝服务 是 Caffe/Torch opencv CVE-2017-12601 系统崩溃 是 Caffe/Torch opencv CVE-2017-12602 DOS 拒绝服务 是 Caffe/Torch opencv CVE-2017-12603 系统崩溃 是 Caffe/Torch opencv CVE-2017-12604 系统崩溃 是 Caffe/Torch opencv CVE-2017-12605 系统崩溃 是 Caffe/Torch opencv CVE-2017-12606 系统崩溃 是

35、Caffe/Torch opencv CVE-2017-14136 整数溢出 是 注：CVE 共享漏洞库，可通过编号找到安全团队提交的漏洞 Risks in Deep Leaning Implementations 2.2. 预测：决策被操控预测：决策被操控 当 AI 模型完成训练，用来识别、预测时，存在更加致命的问题。以图像 识别为例，AI 模型会受到环境干扰，比如同样的物体换个角度或被树叶 遮挡就不认识了等情况。更有研究者发现，AI 模型可以有意图被欺骗， 且该领域的关注度日益提升。 仅以胶带遮盖就能影响仅以胶带遮盖就能影响 AI 做出错误决定做出错误决定。以”计算机安全教母”宋晓东 教授

36、的论文为例，2018 年 6 月，研究团队仅在公路指示牌上贴了一些胶 带， 就导致 AI 模型把停车指示牌识别成了限速 45 公里每小时的指示牌。 如果无人驾驶汽车上用的是这样的图像识别算法，在该停车的地方保持 45 公里每小时的车速，后果将不堪设想。 产业观察 请务必阅读正文之后的免责条款部分 12 of 37 图图 7.交通指示牌被错误识别交通指示牌被错误识别 数 据 来 源 ： Robust Physical-World Attacks on Deep Learning Visual Classification 对抗样本欺骗算法。对抗样本欺骗算法。2013 年，Szegedy 研究团队

37、发现通过在原图片上增 加肉眼难以识别的噪点，能干扰机器学习模型做出错误的判断。以 2015 年谷歌大脑 AI 科学家 Ian Goodfellow 团队的实验数据为例，AI 模型认 为原图 57.7%确定是只熊猫，加入噪点之后，AI 模型认为 99.3%是只长 臂猿，而两张图肉眼看不出差别。 图图 8.噪点影响了噪点影响了 AI 模型的判断模型的判断 数据来源：Explaining and Harnessing Adversarial Examples 想让想让 AI 识别成什么，就能让识别成什么，就能让 AI 识别成什么识别成什么。可以定制化生成噪点，诱 骗 AI 识别成想要的结果，比如希望

38、 AI 能将左转指示牌识别成右转，就 可以通过机器学习算法反向操作生成带有特殊噪点的图片，且肉眼看起 来也是左转，但 AI 会以很高的置信度将其识别成右转。 对抗样本还具有对抗样本还具有传导传导性，同类模型都会中招。性，同类模型都会中招。生成对抗样本需要能拿到 AI 模型，被称为白盒攻击；但在很多场景下无法获得模型，被称为黑盒 攻击。研究发现只要两个模型的训练数据是一样的，对一个模型生成的 对抗样本也能欺骗另一个模型， 比如很多图像识别模型都是用 ImageNet 数据训练的，只要能攻破其中一个模型，同类模型都会中招。 仅通过给图像添加遮挡、噪点等干扰因素，就能实现诱骗仅通过给图像添加遮挡、噪

39、点等干扰因素，就能实现诱骗 AI 得出错误得出错误 判断。这样的能力如果坠入攻击者手中，细思极恐。判断。这样的能力如果坠入攻击者手中，细思极恐。 产业观察 请务必阅读正文之后的免责条款部分 13 of 37 2.3. 应用：滥应用：滥用用危害重危害重 技术都是双刃剑，而 AI 之剑格外锐利，比如用 AI 参数的隐蔽性触发后 门攻击；用 AI 打骚扰电话，节省 80%的人工成本；伪造他人信息，足以 骗过鉴别专家；将 AI 用于军事武器等。 1）后门攻击后门攻击 后门程序是黑客攻击企业网络时常用的方法，能绕开网络关卡。AI 模型 也是程序，可以被嵌入后门。与传统后门程序不同的是，AI 模型不是代

40、码构成的，而是由一组参数构成，而目前大部分安全检测产品都是检测 代码是否包含恶意语句，所以隐蔽性更高。 2017 年 8 月，纽约大学的研究团队提出一种能在 AI 模型中嵌入后门的 方法。当 AI 模型识别特定图案时，会触发隐藏在模型内的后门程序，最 终给出错误判断。图中在 STOP 指示牌上黄色小方块是触发机关的特殊 图案，随后 AI 模型将停止指示牌识别成限速指示牌，而触发像素与正 常像素的差别微乎其微。 图图 9.用用 AI 模型触发后门攻击模型触发后门攻击 数据来源：BadNets: Identifying Vulnerabilities in the Machine Learning

41、 Model Supply Chain 2）骚扰骚扰广告广告 2019 年初， 新京报一篇文章刷频朋友圈 给你打骚扰电话的可能不是人： AI 电话营销一天打一千通 ，揭露广告主通过 AI 来打骚扰电话，推销股 票、贷款、房产等，节省 80%的人工成本。 网上售卖 AI 推销机器人的供应商很多，以云销为例，算法依托科大讯 飞的语音识别、自然语言处理、HMM 神经网络算法，以及自主研发的 智能多轮对话、客户意向判断等技术，每天可以拨打 800-1200 通电话， 全年无休。不仅如此，云销提供的是 SaaS，用户只需在网上填好客户电 话等信息即可。 产业观察 请务必阅读正文之后的免责条款部分 14 of 37 图图 10.云销云销 AI 电话机器人覆盖各行各业的语料电话机器人覆盖各行各业的语料 数据来源：淘宝 3）伪造信息伪造信息 在 AI 出现之前，用科技手段制作虚假信息、伪造他人身份等问题一直 存在。AI 的出现加快了这些问题的发展，使得虚假信息可以被制作得更 以假乱真，从伪造图像、语音，