您现在的位置:主页 > www.04013.com >

www.04013.com

创新工场这篇给AI建模数据“下毒”的论文入选顶会NeurIPS(附全

文章来源:本站原创作者:admin 发布时间:2019-09-08 点击数:

  【TechWeb】9月5日,被誉为机器学习和神经网络领域的顶级会议之一的NeurIPS2019揭晓收录论文名单,创新工场人工智能工程院的论文“LearningtoConfuse:GeneratingTrainingTimeAdversarialDatawithAuto-Encoder”被接收在列。该论文的三位作者分别是:创新工场南京国际人工智能研究院执行院长冯霁、创新工场南京国际人工智能研究院研究员蔡其志、南京大学人工智能学院院长周志华。

  据介绍,“LearningtoConfuse:GeneratingTrainingTimeAdversarialDatawithAuto-Encoder”这篇论文的主要贡献,就是提出了高效生成对抗训练数据的最先进方法之一DeepConfuse,通过劫持神经网络的训练过程,教会噪声生成器为训练样本添加一个有界的扰动,使得该训练样本训练得到的机器学习模型在面对测试样本时的泛化能力尽可能地差,非常巧妙地实现了“数据下毒”。

  “数据下毒”即让训练数据“中毒”,具体的攻击策略是通过干扰模型的训练过程,对其完整性造成影响,进而让模型的后续预测过程出现偏差。

  值得注意的是,“数据下毒”与常见的“对抗样本攻击”是不同的攻击手段,存在于不同的威胁场景:前者通过修改训练数据让模型“中毒”,后者通过修改待测试的样本让模型“受骗”。

  举例来说,假如一家从事机器人视觉技术开发的公司希望训练机器人识别现实场景中的器物、人员、车辆等,却不慎被入侵者利用论文中提及的方法篡改了训练数据。研发人员在目视检查训练数据时,通常不会感知到异常(因为使数据“中毒”的噪音数据在图像层面很难被肉眼识别),训练过程也一如既往地顺利。山西皇城相府宇航汽车制造有限公司怎么样?,但这时训练出来的深度学习模型在泛化能力上会大幅退化,用这样的模型驱动的机器人在真实场景中会彻底“懵圈”,陷入什么也认不出的尴尬境地。更有甚者,攻击者还可以精心调整“下毒”时所用的噪音数据,使得训练出来的机器人视觉模型“故意认错”某些东西,比如将障碍认成是通路,或将危险场景标记成安全场景等。

  创新工场方面表示,DeepConfuse这一技术的研究并不单单是为了揭示类似的AI入侵或攻击技术对系统安全的威胁,而是致力于在深入研究相关的入侵或攻击技术的基础上,有针对性地制定防范“AI黑客”的完善方案,对AI安全攻防这一前沿研究方向的推动与发展具有积极指导作用。

  随着AI算法、AI系统在国计民生相关的领域逐渐得到普及与推广,科研人员必须透彻地掌握AI安全攻防的前沿技术,并有针对性地为自动驾驶、AI辅助医疗、AI辅助投资等涉及生命安全、财富安全的领域研发最有效的防护手段。

  来自中国的家电企业正在加速海外市场的扩张步伐。 在2019德国IFA展开幕前夕,我们走访了TCL的欧洲研发中心...

  【TechWeb】9月5日,被誉为机器学习和神经网络领域的顶级会议之一的NeurIPS2019揭晓收录论文名单,创...

  9月5日,外媒报道称,中国人工智能初创企业商汤科技表示估值已超70亿美元。 公开资料显示,商汤科技从2014...

  【TechWeb】9月3日,据外媒报道,AI芯片初创企业依图科技寻求在科创板上市。对此,依图科技回应称,重视资...

  【TechWeb】9月3日,昨日晚间,旷视科技通过官方微博发布声明称,近日网络上出现的一幅课堂行为分析图片,...

通天报彩图网址| 六合日历网| 最新香牌正版挂牌| 香港九龙老牌图库助手| 佛祖高手心水论坛| 香港马会心水论坛| 天中图库牛彩网| 管家婆马报彩图大全| 九龙图库开奖结果直播| 全年无错精准杀一肖|