Siggraph 2018:深度学习和深度伪造

Siggraph 2018:深度学习和深度伪造

功能|八月15,2018

Dr. Andrew 格拉斯纳 is a writer-director and a consultant in interactive fiction, and computer graphics. Kicking off this year’在SIGGRAPH课程计划中,他参加了2018年令人印象深刻的比赛 深度学习:速成课程。 深度学习是今年SIGGRAPH的热门话题。

巨大的宴会厅在周日整个下午都挤满了人,这足以证明人们对这个主题有很大的兴趣,他的演讲是近年来我们参加的最佳SIGGRAPH课程之一。正如格拉斯纳(Glassner)所言,他的职业生涯是从数据中发现模式,他是一位出色的演讲家和教育家。

格拉斯纳’s course aimed to show how this sub set of AI, called deep learning,  works and what it offers computer graphics.  格拉斯纳 started working in 3D computer graphics in 1978, and has carried out research at such key centres as the NYIT Computer Graphics Lab, Case Western Reserve University, the IBM TJ Watson Research Lab, Xerox PARC, and Microsoft Research. 纽约时报 wrote that, “Andrew 格拉斯纳 is one of the most respected talents in the world of computer graphics research.”

也在周日举行的另一门课程或新型SIGGRAPH研讨会是 图片,视频和图形中的真相,由Irfan Essa组织。他是佐治亚理工大学计算学院互动计算学院的教授。他还曾在Google Research工作。该研讨会/课程的重点是深度学习引发的道德和社会问题。深度学习加速了制作和检测合成图像或假新闻的军备竞赛问题。

在许多方面,这两个课程虽然都截然不同,但在同一主题上却是两种不同的外观。真理课程是SIGGRAPH密集课程的新型特殊课程,应邀参加。与Glasner的讲座规模之大相比,它很小,但是与会者是深度学习和法医成像的高级专家。真相研讨会的形式不同于深度学习速成课程。它拥有众多演讲者和专家,例如来自TUM慕尼黑视觉计算集团的MatthiasNießner,来自USC ICT的郝力,还有法医影像专家,例如Hany Farid是达特茅斯学院的计算机科学教授,在最近的DARPA Media Forensics计划中。

顺便说一句,如果你’再次参加本周的SIGGRAPH,并且有兴趣了解更多有关该领域的信息,请务必在星期四查看论文会议 从 2:00pm – 下午3:30在宴会厅C。演讲之一将是 深度视频肖像 哪一个“通过转移头部姿势,面部表情和眼睛动作并具有高度的真实感,可以完全控制目标演员。”观看下面的YouTube视频。

深度学习:速成课程

格拉斯纳’深度学习课程原本计划是一门关于深度学习理论的学期课程,但下午(不带数学)。该课程是当晚晚些时候我们在论文快进中看到的提及深度学习的许多技术论文的很好的入门。格拉斯纳(Glassner)向深度学习领域的SIGGRAPH初学者介绍了该课程的内容,但该课程的信息非常密集,结构也非常好。

下午,Glassner解释了术语,提供了示例,并对这一研究领域为何在图像处理和图像分类问题(例如人脸识别,降噪,光线追踪)方面如此成功的原因有了深刻的概念理解。以及为什么几乎每个实验室和设备制造商都在积极研究它。周一NVIDIA实时光线追踪硬件发布广泛使用了深度学习,这一点凸显了这一点,Glassner指出了NVIDIA’在深度学习方面发表了几次研究。

深度学习是一类机器学习(ML)算法,已证明自己非常强大,尤其是在分类问题等领域。深度学习是一种进行机器学习的方法,它是最成功的方法之一,非常适用于GPU和硬件加速。它已广泛用于诸如信封上的地址手写或银行支票详细信息之类的事情。但是,课程的重点是从这些简单的教科书示例转移到SIGGRAPH上显示的在图像合成,面部识别,跟踪,流体模拟以及降噪和射线追踪方面的关键工作方面具有巨大影响力的工作。他从MNIST的简单手写数据集开始,这就是ML的“ Hello World”,他的工作涵盖了NVIDIA出色的降噪效果,以及为什么可以产生如此快速的光线追踪渲染效果如此令人印象深刻。

从无监督学习,强化学习和监督学习开始,Glassner概述了大多数关键术语并解释了概念。这是他大部分时间中的最后一次。他还列举了一些有趣的例子,这些例子击败了机器学习,并强调了该领域通常只是实验而已,而不是基于可靠的理论。机器学习的本质就是解决方案的黑匣子特性,它们既看起来像魔术,也包含有深刻见解的创新“简单”思想作为其内核。

图片真相:军备竞赛

新闻民主化的问题在于,这意味着每个人都可以访问新闻,但每个人也都认为自己是新闻记者。虚假新闻一直是这种叙事的主题。真相研讨会的目的是讨论围绕可能的技术问题以及如何从技术上检测假货。后来的工作涵盖了Glassner所涵盖的许多领域,但处于深度学习领域的高端创新领域。

去年最明显的例子是伪造品很深,虽然大多数大众媒体都忽略了实际使用该软件产生可信结果的复杂性,但发现高质量宣传或虚假图像的问题非常及时和重要。

不幸的是,虽然人们在呈现实际虚假新闻方面几乎没有好处,但它会发生。虽然发言人小组没有将太多讨论集中在‘profiting’通过让人们看到并且经常相信编辑过的图像,他们确实将讨论的框架定为制造可信假货和检测假货的工具之间的军备竞赛。令这一天如此有趣的是,会议室中的专家既涵盖了对可能存在的领先研究,又对如何发现它进行了研究。

参加会议的许多知名研究人员都参与了法律专家的证词和国家安全问题。经验丰富的意见和深入的讨论使这个SIGGRAPH研讨会非常有价值。与SIGGRAPH 2018的许多课程和讲习班一样,组委会对于他们安排的演讲者的才能也没有给予足够的好评。在这种情况下,很难想象会有一个知识渊博,经验丰富的小组来解决这样一个复杂的问题。

郝莉

讨论和演示的一些解决方案包括高级图像分析,还包括保持天意以保持信任的想法。有人提出了一个问题,为什么相机本身没有编码更多的信息,而这些信息将提供未受干扰的图像的证据,这是完全可能的。

这种“照片区块链”无法解决100%的CGI伪造,但可以对照片进行详细检查以证明其准确性。这不仅是证明伪造的关键,而且对于解决人们认为“任何事物都可以伪造的”日益严重的问题至关重要”因此,他们对实际的真实图像和有效的报告失去了信任。

材料的真实性,缺乏信任并允许某人说“it was faked”如果不是这样,则反映出对社会和民主制度信任的广泛问题。社交媒体的武器化破坏了攻击的目标,并向那些将被追究责任的人提供了“一切都被伪造”的借口。

除了用于检测编辑的高级算法外,演讲者还指出了网站计划,例如 TruePic,旨在验证图像的是相机安全来源。该应用程序为任何照片验证提供简单,直接的图像身份验证。但是令人遗憾的是,人们很懒惰,很少有人会明确使用此类工具,因此一天中的大部分时间都花在了识别伪造材料的取证算法上,尤其是使用GAN(生成网络)。正如一位发言者所说,“如果您相信‘GAN的故事”(提供令人难以置信的学习成果),然后生成器将永远赢,您可以检测到的任何内容,都可以训练以进行改进并添加到伪造中。”因此,军备竞赛使用深度学习工具来检测无法改善伪造的图像。

当然,不需要深度学习甚至不需要photoshop图像处理工具即可提供假新闻。脱离上下文获取图像,或将一个战区的图像显示为另一战区的镜头,甚至只是上演一张照片来宣传议程,都是现实世界中技术含量低的问题。但是,SIGGRAPH确实需要提供这些高级讨论,以解决计算机图形和图像处理的某些影响,以及对如何做到这一点的大量技术关注。

发表评论