原副标题:学术界 | 用GAN手动聚合切线绘图，让绘图结构设计更随心所欲
LizierarXiv
译者：Wanchao Su、Dong Du、Xin Yang、Shizhe Zhou、Hongbo Fu
电脑之心校对
参予：Panda
如果结构设计辅助工具能依照单纯的图画手动聚合切线绘图，那将能为绘图结构雕塑家提供更多十分大的协助。日前，香港城市理工学院、中国科技进步理工学院、天津理工学院和天津理工学院三所院校的人类文明学家明确提出了一类采用聚合对付互联网的切线绘图聚合形式。该科学研究的学术论文已被将于 5 月 15-18 日在澳大利亚渥太华举行的 ACM SIGGRAPH 互动式 3D 绘图和格斗游戏讨论会（i3D）转交。
切线绘图（normal map）在学术和商业性制造中都有十分重要促进作用。对花纹复建、表层撰稿、着色绘图和拟真表层图形等许多绘图应用领域来说，切线绘图十分重要。表层切线绘图是花纹的高阶差分重要信息，因此在结构设计业务流程的晚期期，人类文明难于精确逻辑推理获得。
在各式各样表示形式中，图画（sketch）能让结构雕塑家较为单纯地传达自己的结构设计基本概念，即使这种形式有较好的多元性、稳定性、开放性和工作效率。这也是一类用作展现出花纹和其他欧几里得重要信息的常见传播形式。采用图画将 3D 重要信息传达到 2D 域中是现代人经常采用的大自然形式。即使表层切线是代码 3D 重要信息的最间接的形式众所周知，所以「图画到切线」是将 2D 基本概念投射到 3D 空间的主要释义形式，这在卡通着色、数字表层建模、格斗游戏场景增强等方面有广泛的应用领域。依照图画手动推导切线绘图有望成为绘图结构雕塑家的有用辅助工具。
近些年来，科学研究界已经见证了深度神经互联网在各式各样不同领域的优良能力。深度神经互联网已经成为了许多问题背后的常见解决方案，尤其是与图像相关的难题。具体来说，基于 GAN 的形式已经在一系列图像聚合问题上取得了出色的表现。更具体来说，对基于引导的（guidance-based）图像聚合，GAN 在传统的深度学习形式的基础上表现出了显著的提升。即使切线重要信息和图画曲线在图像域中都有良好的表征，所以依照图画推导切线绘图可以采用深度神经互联网来实现。
在本学术论文中，我们明确提出了一类互动式的聚合系统，其采用了一个深度神经互联网框架来依照输入图画聚合切线绘图。在我们的系统中，图画到切线绘图聚合问题被当作了一个图像转译问题——采用一个基于 GAN 的框架将图画图像「转译」成切线绘图图像。为了增强输入图画和所聚合的切线绘图之间的对应关系，我们整合了一类条件 GAN 框架，其可以依照条件引导（conditional guidance）[20] 来聚合和鉴别图像。我们在聚合器中采用了 U-net [24] 架构来在聚合过程中传达平滑的重要信息流，从而进一步提升像素层面的对应关系。我们在我们的实现中采用了 Wasserstein 距离，以为互联网更新提供更多更有效的引导和降低训练过程的不稳定性。
即使图画是花纹的高度简化的表示，所以对单张输入图画，可能会有多种花纹释义或可能的切线绘图。我们依靠用户来解决这种模糊性问题。为了做到这一点，我们提供更多了一个用户界面，让用户可以直接在输入图画中提供更多特定点的切线重要信息，从而引导切线绘图聚合。这样的界面也能扩大切线绘图的结构设计选择范围。我们的系统十分高效，可以依照输入图画和点提示重要信息实时地聚合切线绘图。
我们进行了广泛的定量和定性实验并与其他形式进行了较为，结果表明了我们的形式的有效性。我们在三种类别的数据上进行了评估，并与 pix2pix [14] 和 Lun et al. [19] 等其他形式进行了较为，结果表明我们的形式在聚合低误差切线绘图方面能力出色。在输入图画的变化不断增多的实验中，通过逐步增多提示点并评估我们形式的稳健性，我们验证了该形式的用户交互能力。我们的形式也可以依照全新的人工绘制的图画而获得看起来合理的结果。用户科学研究进一步证明了我们的形式在用户感知方面的优势。
图 1：我们的形式的整体工作业务流程。我们明确提出的聚合器互联网将单张输入图画转换成切线绘图，其中仅采用很少或不采用用户干预。这里我们采用了 RGB 通道来表示 3D 切线分量。所聚合的切线绘图可用作多种应用领域，比如重设表层光照、着色绘图等。比如这里我们将切线绘图用作冯氏着色（Phong shading）。
图 2：我们的形式的网络结构。在图左边是一个训练数据样本，其包含一张图画输入图像、一个点掩模（point mask）和基本真值的切线绘图。对被选择的点，我们将其在掩模 (2) 中对应的值设为 1，并将来自切线绘图 (3) 的对应点切线复制到图画 (1) 中。我们将图画输入 (1) 和点掩模 (2) 连接起来作为聚合器 G 的输入，以求取中间的切线绘图 (4)；然后再将该中间切线绘图与图画和掩模一起作为鉴别器 D 的输入，以验证中间切线绘图 (4) 与基本真值 (3) 相比在像素层面上的「真实性」。这个鉴别重要信息可在训练期引导聚合器 G 更新自己的参数。在测试期，图画输入和点掩模只作为聚合器 G 的输入，其输出会被导出为最终所聚合的切线绘图。每个层模块之上或之下的数字表示层的数量，每个模块左侧的数字表示相应互联网层的空间大小。
图 3：我们的用户界面。用户可以在画板（右侧）选择位置，然后采用切线空间（左侧）为它们分配所需的切线。
表 1：不同形式的误差情况。我们将 pix2pix [14]、Lun et al. [19] 和我们的形式的结果与基本真值切线绘图进行了较为。这里给出的值是聚合图像（256×256 像素）中切线区域在像素层面上的平均差异。
图 4：采用我们的形式聚合的切线绘图示例。每组的右上角是图画输入，每组的右下角是与基本真值较为所获得的对应误差图。我们可视化了所聚合的切线绘图的角损失（angular loss），其中红色通道对应所聚合的切线绘图的误差，白色是零误差。
学术论文：采用深度神经互联网的互动式的基于图画的切线绘图聚合（Interactive Sketch-Based Normal Map Generation with Deep Neural Networks）
学术论文地址：http://sweb.cityu.edu.hk/hongbofu/doc/sketch2normal_i3D2018.pdf
高质量切线绘图（normal map）是用作表示复杂花纹的重要传播形式。在本学术论文中，我们明确提出了一类采用深度学习技术聚合切线绘图的互动式系统。我们的形式采用了聚合对付互联网（GAN），能为图画输入生成高质量的切线绘图。此外，我们还能通过整合用户在所选择的点上指定的切线来提升我们系统的交互能力。我们的形式可以实时聚合高质量切线绘图。我们进行了全面的实验，结果表明了我们的形式的有效性和稳健性。我们还进行了全面的用户科学研究，结果表明：在用户感知方面，与其他形式相比，我们的形式所聚合的切线绘图与基本真值（ground truth）之间的差异更小。
本文为电脑之心校对，。
✄————————————————
加入电脑之心（全职记者/实习生）：[email protected]
投稿或寻求报道：[email protected]
广告&商务合作：[email protected]
