yabo

全国服务QQ:3447249690

yabo:对抗样本为什么重要:未解决的研究问题与真实的威胁模型

发布时间:2019-04-15 作者:亚博

yabo

  年夜数据文摘出品

  来历:medium

  编译:李雷、林安安、宋欣仪、周素云

  这篇博文是Catherine Olsson于的两次短篇演讲的基础上撰写的,一次是2018年11月于人工智能互助伙伴集会上,另外一次是2019年1月于波多黎各的通用人工智能(AGI)集会上。

  我认为匹敌样本很值患上研究,应该引起高度的器重。然而年夜大都人存眷匹敌样本的理由都很是单方面。我认为这是由于许多人将还没有解决的研究问题与实际世界的威逼模子等量齐观。

  起首让我注释一下匹敌样本是甚么意思,用一个被许多记者及这种主题的论文会援用的例子,就是假定“人们于泊车标记上贴上贴纸会致使撞车” ,经由过程做一个实际世界的威逼模子可以申明为何匹敌性样本引起。然后我会先经由过程典型小扰动匹敌样本构建一个未解决的研究问题,与实际世界问题成立真实(但不那末直接)的接洽,从而患上出一些观点性证实。

  甚么是匹敌样本

  匹敌性样本是旨于致使呆板进修模子堕落的输入。

  常见的匹敌样本(但不是须要yaboapp下载的)是经由过程对于准确的输入样本举行修改来构建的,这些输入有时被称为“ε-球匹敌性样本”或者“小扰动匹敌样本”。

  例如,假如你有一个图象分类模子,而且它能以相称高的置信度(57.7%)准确地对于这张图片作出熊猫的分类,但事实上可以这张图片中每一个像素变化一点点获得一张新的图片,如许它虽然看起来仍是熊猫,但却会被图象分类模子以极高的置信度(99.3%)过错地辨认为长臂猿。

yabo

  于轻微转变像素以后,新图象被以极高的置信度过错地分类。

  值患上留意的是,小扰动匹敌样本不是深度进修所独有的,也不是特定模子才有的问题。于某些已经知的环境下,险些所有已经知的呆板进修模子都轻易遭到高维输入匹敌样本的影响,此刻还有没有很好的解决方案。

  辨认泊车标记的匹敌样本

  咱们已经经知道呆板进修(ML)模子轻易遭到匹敌样本的影响,是以人们可能很天然地担忧于匹敌样本会对于实际世界孕育发生甚么样的影响。

  举个例子,假定你正于设计一款主动驾驶汽车,你但愿它可以或许辨认泊车标记。当你知道抗样本后,你就会很好奇这是否会影响你的车。

yabo

  假如你正于设计一款可以辨认泊车标记的主动驾驶汽车,你可能想知道匹敌样本是否会致使车辆不克不及准确辨认泊车标记。

  我是一位卖力研究事情的工程师,不做体系设计或者部署,是以于阐发模子于实际世界中怎样发生过错方面我不是专家。但我从事计较机安全事情的伴侣及同事教给我的一个要领,是问“你的威逼模子是甚么?”

  Kevin Riggle 撰写的《深切浅出注释威逼模子》是我最喜欢的一篇博文,也很是通俗易懂。这篇文章经由过程如下几点注释了威逼模子:

  威逼模子只回覆与你正于构建或者扩大的任何体系相干的一些简朴问题。

  这是甚么体系,体系关连人是谁?

  体系需要做甚么?

  发生不幸的事或者者有人蓄意粉碎的时辰,这个体系会如何?

  体系必需包管的参数,纵然发生不幸的事,它使体系仍旧可以或许准确地完成应完成的使命。

  为简便起见,我将这些问题称为关连人,方针,倒霉因素及稳定量。

  让咱们测验考试着把这个框架运用到现实问题中。

  于前面的主动驾驶汽车例子中,让咱们想象一下,咱们的方针是让汽车能于“路口”泊车标记前主动停下来。纵然有人于泊车标记上贴了一个希奇的妨碍贴纸,致使它会被过错辨认,咱们仍旧但愿车子可以辨认。咱们列出所有可能会威逼到咱们体系的倒霉因素。例如,雾天、雪天、泊车标记被歹意涂抹或者者交织路口施工等环境。

yabo

  咱们的问题清单应该包括泊车标记已经经倒下的环境。

  假如泊车标记倒于地上,那末你的车就可能会撞车。这类环境比与原标记很相似的小扰动匹敌样本更易呈现交通变乱。

  总之,我想说的是,假如有人于泊车标记上贴上一张妨碍贴纸,而且任何尺度视觉体系都是以检测不到住手标记,那末一辆彻底依靠在该视觉体系的汽车极可能会因检测不到泊车标记而开入迎面而来的车流,发生碰撞。假如汽车是如许设计的,过错分类的泊车标记会致使汽车碰撞,那末于实际世界中极可能会发生近似环境。

  但我还有找不到一个真正的例子,真有如许的粉碎份子去建造及贴贴纸。不单单是由于它只是种假定,而是粉碎份子实现其方针的最可能的方式是未知的。虽然只是想象,但若想要报酬的造成车祸, 这即是一个既简朴又经济的方式。

  假如我只是告诉你“粉碎份子使用模子梯度的降落,孕育发生致使过错分类的妨碍贴纸并贴于路标上”是我现实上试图制止的真实环境,那末我的威逼模子无疑是不完备的。但若不只存眷字面意思的话,它仍旧是一个值患上研究的模子。

  泊车标记的匹敌样本是否使人担心

  我其实不是想申明,“不要再担忧了!呆板进修模子很是周密及精准!“,我的不雅点偏偏相反,实际问题往往比一张贴纸的匹敌样本更糟糕糕。

  为相识释我的意思,让咱们转头查看威逼模子并存眷稳定量(“体系需要包管甚么参数,以便它可以或许完成需要完成的使命,纵然所有欠好的工作都发生呢?“)

  假如咱们的目的是让汽车始终停下,不单单是于匹敌性标记存于的环境下,甚至是不存于或者yabo看不见泊车标记的环境下。这象征着咱们不克不及只按照门路标记检测决议什么时候停于十字路口。威逼模子告诉咱们,仅利用一种检测模子不克不及正确举行安全要害性阐发。

  以是此刻咱们要提出一个很是有趣的问题!怎样于不利用门路标记检测的环境下辨认需要泊车的路口? 咱们要使用GPS及舆图数据吗? 于颠末没有 “泊车(stop)”或者“让道(yield)”标记的交织路口时要非分特别小心吗?

  思量到威逼模子,咱们意想到这个问题比咱们想象的更严峻。咱们很难强化视觉模子使它能抵挡小扰动匹敌标记。为了实现咱们的目的,必需完全抛却“彻底依靠标记检测体系”。

  为何要存眷匹敌样本?

  是以,鉴在“匹敌性标记”及其它问题的存于,咱们需要更周全的解决议计划略......那末问题来了,为何咱们云云存眷小扰动匹敌样本呢?

  两个最不成抗拒的缘故原由:

  一:这是一种观点性证实(Proof of Concept),即某种问题存于的无可反驳的证实。因为很轻易找到小扰动匹敌样本,咱们可以必定地说,假如你的体系安全性的条件是分类器永远不会呈现较着过错,那末这个条件就是过错的,你的体系是不安全的。

yabo

  此刻的图象分类器甚至不克不及准确区别鸟类及自行车的图象。

  我想夸大的是,制造小扰动其实不是找到过错分类的样本的独一要领。还有可以用其他要领来制造过错,例如测验考试随机转化及扭转图片,或者者利用差别的角度或者差别的光照效果。

  可是,因为小扰动匹敌样本的存于,咱们就能够找到更较着的过错。

  除了了一小我私家成心地经由过程过错的输入来寻觅过错的环境外,任何具备滋扰因素的选择城市于无心中发生过错征采(例如测试数千个输入的样本以查找哪些点击数至多或者最赚钱)。

yabo

  测验考试随机转化及扭转,或者者利用其它角度或者光照效果,图片辨认城市发生过错

yabo文娱官网进口

  二:对于在研究职员来讲,小扰动匹敌样本是一个值患上深切研究的范畴。我咨询了我的同事们,为何只管“小扰动”设置不是一个惹人注目的实际威逼模子,他们仍旧赐与高度存眷。他们给出了一些理由:

  轻微转变下每一个像素就能够将其转化为代数运算,这使患上情势阐发成为可能。

  这是分类器所具备的实际问题,是以研究职员可以于真实数据集(而不是合成数据)长进行研究。

  研究职员可以或许由此发明及进修关在模子不变性问题,咱们知道疑惑一个模子的图可能也会疑惑另外一个模子,这是一个很好的玩具问题(不具备直接科学意义的问题,但可以被用作申明繁杂的问题的实例)。

  虽然这其实不是一个使人信服的不雅点,即“小扰动”设置是研究稳健性的最好或者独一设置,但我仍深深为之沉迷。

  这基本上注解匹敌样本作为一个还没有解决的研究问题,它不仅可以作为一系列可证实问题的观点性东西,还有可以被用在处置惩罚成心义的实际问题。

  我偏向在将匹敌样本视为一种范式(于库恩意义上),可用在演示及研究呆板进修体系中稳健性的掉败,而且进一步摸索解决方案。 虽然它有其作为范式的局限性,但我很兴奋的看到呆板进修研究职员经由过程开发及流传新的及改良的范式来迭代及完美模子稳健性要领。

  未解决的研究问题不等在实际世界的威逼模子(但二者都很主要)

  详细来讲:

  未解决的研究问题凡是需要构建“玩具域“(toy domains),以便模仿要害坚苦。虽然不太可能与实际世界的成果相似,但它们可以帮忙模仿体系可能呈现的问题。于玩具问题上取患上的观点性进展可以指导该范畴形成新的范式。

  于已经天生的体系中,你还有会遇到许多问题,比未解决的研究问题越发基本,是以你需要一个详细的威逼模子来引导采纳有用的解决议计划略。甚至你可能需要完全更改设计,而不是小修小补。

yabo

  于已经天生的体系中,你还有会遇到许多比未解决的研究问题越发基本更基本的问题。

  “但这些问题早就存于了!”或者“咱们还有有比这更基本的问题!”之类的说法其实不是伪装一切城市好的理由。 匹敌样本更应该作为一种提示,提示咱们细心计划,查抄假定,并充实思量一切因素。

  假如你正于开发模子,不管它是否包罗呆板进修,你都需要一个现实的、详细的规划来猜测及削减负面成果。

  假如你是一位研究员,我会督促你不要经由过程声称它确凿代表一种实际威逼来证实你对于玩具问题的研究是合理的,除了非你同时提供了威逼模子。 我更愿意看到理由注释为何你的玩具问题是一个有用的观点理解实验台,以和为何咱们可以指望这些观点可以或许进一步阐明实际问题。

  假如你正于与人聊匹敌样本,我强烈建议你及对于方注释清晰这此中的区分!

  这些设法其实不是我新提出及独占的,许多人之前都说过这一点。 我重要遭到如下研究的开导:

  Gilmer et al. 2018 “Motivating the Rules of the Game for Adversarial Example Research”

  Unrestricted Adversarial Examples Challenge & Brown et al. 2018

  Demski 2018“Embedded Curiosities” (Specifically the line “it’s tempting to draw a direct line from a given research problem to a given safety concern”)

  相干报导:

  https://medium.com/@catherio/unsolved-research-problems-vs-real-world-threat-models-e270e256bc9e

  自愿者先容

  点「于看」的人都变都雅了哦

yabo:对抗样本为什么重要:未解决的研究问题与真实的威胁模型


易优CMS 素材58 区块链是什么 微信小程序开发教程
地址:武汉东湖新技术开发区  电话:0898-08980898  QQ:3447249690
Copyright © 2012-2018 亚博|app下载官网 版权所有  ICP备案编号:鄂ICP备19002934号-1