暑期学校 | 第三日专家精彩报告&DIY冲刺阶段-IRC

第四届“可视计算”暑期学校进入了第三天，专家带来的报告依旧“信息量爆炸”，让我们来继续感受一波获取前沿知识的乐趣吧。同时今天晚上也是DIY活动的最后一天，学员们将会交出怎样的作品呢？今天小编将带领大家走进我们的DIY教室，看看各个DIY小组的活动情况。

一、Generative Adversarial Networks and their Applications

上午第一场精彩的报告是由来自耶路撒冷希伯来大学的Dani Lischinski教授为我们带来的，报告的题目为“Generative Adversarial Networks and their Applications”。Lischinski教授主要围绕生成式对抗网络(GAN)的优势、原理及应用为大家展开了系统的讲解。

不同于传统的概率生成模型，GAN是由样本驱动的，能够通过自主学习得到样本的概率分布，从而在避免复杂操作的同时提高GAN的应用效率。GAN由生成器和判别器两部分构成，生成器的目标是尽量生成真实的图片以欺骗判别器，而判别器的目标则是尽量区分生成器生成的图片和真实图片。两者通过对抗博弈的方式不断进步，最终生成器能够生成以假乱真的图片，使得判别器无法区分生成数据与真实数据。作为GAN的应用，Lischinski教授介绍了基于CNN的DCGAN、处理成对图片数据的Pix2Pix和处理非成对数据的CycleGAN，并展示了这些方法生成的图像结果，例如场景季节的转换，水果品种的转换等。当然每个算法都有其不足，Lischinski教授也展示了一些失败的案例，证明了科研无止境，需要不断地探究。

二、3D Differential Rendering Neural Networks

经过短暂的休息，来自以色列本古里安大学计算机科学系的Andrei Sharf教授为学员们带来了同样精彩的报告。这次Sharf教授为我们带来了主题为“3D Differential Rendering Neural Networks”的报告。Sharf教授指出，虽然深度学习能够成功的应用在二维上，但是在三维上的应用仍然面临着巨大的挑战：例如三维模型的不规则、能作为训练数据集的三维模型数量少、真实数据不明确等等，其中模型形状不规则的问题尤为突出。虽然用体素化的方式能够得到规则的三维模型，但也存在分辨率不高的局限性。为解决这些问题，Sharf教授引入了一个新颖的基于GAN的差分渲染神经网络。其中生成器可以对三维模型进行变化，在生成器和判别器的对抗下，即使没有明确的真实数据也能学习将三维模型规则化。GAN的特性使得该方法能够以弱监督学习的方式来达到挑战3D任务的目的。

三、Multi-Attribute Similarity Embedding

午间休息过后的首场报告来自山东大学的曾琼博士。曾博士目前是山东大学的博士后研究员，她主要的研究方向为计算机图形学和可视化，并专注于研究基于感知的视觉计算。她今天为我们带来了题为“Multi-Attribute Similarity Embedding”的精彩报告。

在计算机图形学和计算机视觉应用领域，理解图像中所存在的语义相似性是一个非常核心的话题。为了能够理解图像的语义相似性，其中一个非常重要的步骤就是通过众包方式收集人类在视觉相似性方面的理解情况。然而，因为同一个图像可能被强调不同的属性，所以图像的视觉背景经常是具有歧义的，这也使图像间会产生矛盾。为此曾博士提出了一种通过将图片的多属性嵌入到空间中以度量图片之间相似性，并用优化方法将同类数据聚集到一起的方法。相似的图片应该在空间上接近，首先根据这一点确定图像在嵌入空间中的坐标，然后再将每个代表属性的元组应尽可能地以正确的展开方式嵌入。曾博士通过动态的展示优化过程，让学员们看到了该方法的有效性。

四、图像语义分割技术发展

今天的最后一场报告来自山东大学交叉研究中心的博士后蒋鹏，蒋博士的研究方向是计算机视觉和深度学习，他今天带来的报告题目为“图像语义分割技术的发展”。

图像语义分割已经具有三四十年的研究历史。蒋博士指出，在深度学习之前，图像语义分割技术是一个非常困难的问题，而深度学习的发展使其有了新的突破。在报告上，蒋博士介绍了图像语义分割中常用的两个损失函数：Cross Entropy Loss和Dice Coefficient Loss，后者更适合类别分布不平衡的图像数据，以及几个经典的数据集。深度学习中的图像分割技术经常会产生边缘不精确的问题，其中主要的两个原因是使用了为了增大感受野的池化层以及网络高层不能保留细节的特性，为此蒋博士介绍了Dilated Convolution、Short Cut等之前的解决方法。另外，蒋博士还向学员们详细介绍了其所提出的DifNet网络——将语义分割问题分解为种子检测和相似性估计两个子问题的方法。这种方法减轻了深度网络结构直接预测稠密标注的难度，并且能够很好的处理边缘细节。在其他条件相同的情况下，其实验结果能够达到领先水平。