珍珠湾ART

标题: 人工智能受愚弄后也会犯“低级错误”！ [打印本页]

作者: 开开心心 时间: 2017-5-11 03:26
标题: 人工智能受愚弄后也会犯“低级错误”！
[attach]21484[/attach]
2022年。你乘坐一辆自动驾驶的汽车像往常一样在城市里穿行。这时车来到了一个路口停止标志前，此前它已经顺利的经过了这里上百次，但这一次，它却没有停下车来而直接开过去了。

对你来说，这个停止标志看起来和其他的一模一样。但是对于这辆车来说，这是完全不同的东西。无论你还是机器都不知道，就在几分钟前，一个骗子在这个交通标志上贴了一张小贴纸：它对人眼豪不明显，但却逃不脱技术的火眼真睛。

换一种说法？交通标志上的小贴纸足以让这辆汽车认为它"看到"的不是停止标志。

这听起来可能令人难以置信。但是越来越多的研究证明，人工智能或多或少地都会被愚弄，它看到的东西和人类看到的完全不同。随着机器学习算法日渐增多地进入我们的运输，财务和健康医疗系统，计算机科学家希望能更多地学习如何保护机器免受它们"对手的"攻击，在有人试图欺骗它们并取得成功之前。

从自动驾驶汽车到能自动启用的家用电器，人工智能和我们的日常生活正变得日益不可分割
[attach]21485[/attach]
"这个问题在机器学习和AI社群正受到越来越多的关注，因为这些算法正被越来越多地使用，"俄勒冈大学（University of Oregon）计算机和信息科学系助理教授丹尼尔·洛德（Daniel Lowd）说。"如果垃圾邮件被放行或一些邮件被拦截，这不是世界末日。但另一方面，如果你依靠一辆自动驾驶汽车的视觉系统来指挥去哪里，并且不要碰撞到任何东西，这个后果却要严重的多。"

不论一台智能机器是否出了故障或被黑客入侵，机器学习算法"看待"这个世界的方式都会产生很大的差异。比如这样的话，一只熊猫在它看起来像是一只长臂猿，或者一辆校车可以被当做是一只鸵鸟。

在一个实验中，来自法国和瑞士的研究人员展示了，这种干扰怎样致使计算机误将松鼠认为是灰色狐狸，或咖啡壶为金刚鹦鹉。

这是怎么发生的呢？让我们回忆一下一个孩子学习认识数字的过程。当他们依次看到每一个数字时，她开始接受一些常见的特征：1是高大而细长的，6和9包含一个圈，而8有两个圈等等。一旦他们看到足够多的例子，他们就可以快速识别的数字为4或8或3，即使因为字型或手写的缘故，它不像他们之前看到过的任何其他4或8或3。

机器学习算法通过一个类似的过程学习认知世界。科学家们会为计算机提供数百或数千次（通常标注的）试验，让计算机检测看到的是什么。当机器读取数据：这是一个数字，这不是一个数字，这是一个数字，这不是一个数字。它开始接收能给出答案的特征的过程。很快它就可以看到一张照片然后高度准确地宣称："这是一个5！"

以这种方式，孩子们和电脑以十分相似方法的学习识别一系列海量的事物，从数字到猫到船到单独的人脸。

但是，计算机没法像孩子一样注意到高级别的细节，如猫的毛茸茸的耳朵或数字4独特的角度形状。它不能顾及整个画面。

相反，它可能会查看图片独特的像素点，并以最快的方式将目标分类。如果数字1的绝大多数在一些特定的位置是黑色像素，并且在另一些特定位置是白色像素，则在仅检查少数像素之后，机器就可以进行调用程序，进行判断。

现在，再次回到这个停车标志。随着对图像像素一次细微的调整，或者专家称之为"干扰"，计算机愚蠢的认为，这个停车标志不再是停车标志。

怀俄明大学（University of Wyoming）和康奈尔大学（Cornell University）的人工智能实验室也进行了类似的研究，证实了人工智能光怪陆离的想象力。这些具有抽象图案和颜色的令人迷幻的图像对人类来说看起来没什么大不了的，但却被计算机快速识别为蛇或步枪。这些表明人工智能有能把一些毫不相关的事物认为是该事物的缺陷。

这是一种在所有类型的机器学习算法中常见的缺陷。"人们会期待每一种算法都是万能的，"范德比尔特大学（Vanderbilt University）计算机科学和计算机工程系助理教授叶夫根尼·沃罗比奇克（Yevgeniy Vorobeychik）说。 "但我们生活在一个非常复杂的多维世界中，每种算法本质上只关注在相对较小的一部分。"

沃罗比奇克"非常相信"，如果存在这些漏洞，有人就会弄清楚如何利用它们。有人可能已经这么做了。

比如说那些通过程序自动消除任何看上去不靠谱电子邮件的垃圾邮件过滤系统。垃圾邮件发送者可以通过调整单词的拼写（Viagra改为Vi @ gra）或通过在正常电子邮件中通常添加一个"好的单词"列表来尝试越过防火墙：根据一种算法，"乐意的"，"我"或"是的"。同时，垃圾邮件发送者可能会试图隐藏经常出现在垃圾邮件中的单词，如"声明"或"移动"或"赢"。

这是否可能会让骗子成功？自动驾驶汽车被一个停车标志上的贴纸欺骗是这个领域的专家提出的一个经典的场景。对抗性数据可能有助于将色情内容通过安全内容过滤器。其他人可能会尝试增加支票上的数字。或者黑客可以调整恶意软件的代码，足以不被察觉的通过数字安全系统。

如果麻烦制造者拥有他们想要去欺骗的机器学习算法的副本，他们就可以弄清楚如何创建对抗数据。但是，这并不需要偷偷摸摸的通过算法的大门。他们可以简单地强制性的发起攻击，投送稍微改变形式的电子邮件或图像，或者其它能够通过防火墙的任何东西。随着时间的推移，这甚至可以用来产生一个新的模型，这个模型学习好人正在寻找什么，以及如何产生愚弄他们的数据。

自动驾驶车辆和外科手术机器人处理的事务人命关天，所以它们几乎没有范错误的余地
[attach]21486[/attach]
"人们自从首次引入机器学习系统以来就一直在操纵机器学习系统，"宾夕法尼亚州立大学（Pennsylvania State University）计算机科学和工程系教授帕特里克·麦克丹尼尔（Patrick McDaniel）说。"如果人们用这些技术使坏，我们可能不知道。"

欺骗者可能不是唯一一个利用这大好时机的人。人们可以利用对抗方法来避免现代技术的无处不在，保护个人隐私。

洛德说："如果你是一个独裁政权中的政治异议人士，而且你想在不被当做监控目标的情况下进行活动，那么基于机器学习的躲避自动化监控的技术将是一个积极正面的应用。

在10月公开的一个项目中，卡内基梅隆大学的研究人员构建了一副眼镜，可以巧妙地误导面部识别系统，使计算机将女演员瑞茜·威瑟斯朋（Reese Witherspoon）当做罗素·克劳（Russell Crowe）。这听起来很有趣，但是这样的技术对于那些想躲避掌权者的审查的人来说是有用的。

在此期间，算法要做的是什么？"避免这种情况的唯一方法就是拥有一个完美的模型，这个模型在所有时间都是正确的，"洛德说。即使我们可以建立比人类更好的人工智能，世界仍然会包含不确定的情况，正确的答案在哪里，这并不明显。

机器学习算法通常通过它们的准确性评级。一个99%的准确率的程序明显好于60%的程序。但是有一些专家现在认为评价指标还应该包括算法如何应对攻击的能力：越难攻击，性能越高。

对于专家来说，另一种解决方案可能是测试程序的性能。在实验室中，像犯罪者可能做的事情那样建立自己的攻击试验，然后将其显示给机器学习算法。这可以帮助它随着时间的推移变得更有适应力 - 当然，这是在测试的攻击与在现实世界中尝试的攻击类型相匹配的情况下。

麦克丹尼尔建议我们如果可能，考虑将人类置于循环中，这样可以提供一些外部验证介入功能，确保算法的猜测是正确的。一些"智能助手"，像脸书的M，让人们重复检查并弄清楚他们的答案；其他人则认为，人工检查可能对敏感的应用程序有用，例如法院的判决。

"机器学习系统是推理的工具。在我们给予他们什么和他们告诉我们什么方面，我们需要变得聪明和理智，"他说。"我们不应该把它们当成真理的化身。"

欢迎光临珍珠湾ART (http://art.zhenzhubay.com/)