专题报告 | “以人为本的虚拟现实”专题论坛暨CCF青岛 Tech Fair 2019

讲者介绍了人类工效学以人为中心，以舒适、健康、高效、安全的工作和生活为目标的思想。人类工效学涉及到生活的方方面面，是企业、消费者关注的热门学科。VR工效学设计主旨在于将人体特征数据作为VR产品的指标，人体特性指标包括形态、尺寸、力量与触感等，讲者以全国最权威的人体测量数据库来进行数据对比，包括性别差异，年龄差异等全面介绍了人体工效学所需要做的工作。之后讲者介绍了VR工效学测评内容、评价标准以及案例绩效评价，同时也展示了目前合作产品软件SoErgo，展示了动捕实时驱动数字人体以及数据手套手势驱动的实现。

讲者首先简单介绍了人体模型在工效学中的地位与作用，强调了工效仿真评估过程中的核心单元是数字化工效人体模型（工效虚拟人），其次介绍了工效人体模型的四个应用领域：装备论证、装备设计、装备评价（可视性、可达性、舒适度、作业任务、视野）、装备维修（虚拟环境维修过程中的计算机模拟）、战场演练，再次讲者展示了数字化工效人体模型的发展历史，重点介绍了形态模型、动作模型、功能模型。最后讲者罗列出了数字化人体工效模型目前的问题与挑战，包括人体数据不全、分散，基础研究需要进一步加强，分类重复建设等。

讲者介绍了一些关于利用深度学习解决几何问题的研究工作。 在几何表示方面，首先介绍了RIMD特征，根据人体特征做插值变形，而不需要骨架，得到比较好的效果。而后提出了ACAP特征提取方法，在RIMD优点的基础上速度更快，同时也可以进行图卷积的操作。讲者提到，可以通过提取特征做高分辨率的模型，例如编辑面部的细节特征等，也可以对全局即整个人体进行编辑。在几何分析方面，目标在于合成高质量的网格，将RIMD提取到的特征进行应用，放入编码器，输入一个指标，可以输出一个三维模型。在几何合成方面，讲者介绍了优化变形传播时的交互方法，以及全自动变形的应用，即任给两个模型，可以自动做到变形传播，同时展示了运用VAE-CYCLE GAN做到人体视频合成。

讲者从单层几何重建到多层语义重建介绍了单视角三维重建的基本框架：传感器+重建方法+三维信息（人体）。讲者强调了人体动态三维信息本质上是多层的，同时也具有很强的语义信息。讲者介绍了重建场景方面的工作，通过融合骨架信息和联合运动求解来重建稠密的表面和重建人的骨架的运动。而后，讲者提到了两个关键技术，其一为Double fusion，提出双层人体表示方法，内层参数化模型，外层真实采集到的表面；其二为Hybridfusion，即加入惯性测量单元，即使人体被遮挡了也依旧可以完成重建。最后，讲者展示了利用深度学习和物理仿真实现的多层人体模型的数字化表达方法。

讲者介绍了通过形态参数和姿态参数以快速生成参数化模型的方法。学习姿态参数和形态参数，建立映射函数以生成人体子空间。讲者先介绍了基于LBS姿态变形的实时SCAPE的两个方面：静态人体形态参数计算，动作姿态是保持不变的；通过提高重建的网格和深度数据的拟合程度和相近约束、关节点约束、刚性块运动惯性约束以及主旋转轴保持不变约束来实现动态人体姿势参数计算。其次讲解了对称人体参数化模型的关键，是在于将对称内嵌到人体模型中去，并在对称约束下的变形中，构造姿势参数矩阵。最后讲者提及了智能化三维人体建模，无须手工量体 、无需美工建模、无需用户裸体，未来希望实现智能量体、加强真实感效果以及加强数学模型。

讲者首先介绍了关于山东大学-青岛虚拟现实研究院的团队成员、科研成果等方面的内容。

讲者展示了2014年的Image-3d pose的工作，主要是利用深度学习的方法获取3D pose，但是训练集的采集方式决定了对于运动多样性以及采集场景有过多限制。为了获取更加丰富的训练集，讲者提出利用图形学的方法合成多视点pose和场景。但存在的问题是：如何能够使训练集能够覆盖所有的姿态空间？讲者表示，希望与各位老师和同学进一步探讨。接下来，讲者介绍了针对上述合成的训练集进一步的研究工作，针对于合成图像和真实图像在特征空间吻合度不高的问题，提出了一个生成对抗网络，经多次迭代训练之后，能够达到较优的效果。针对观众提出的某些特殊样本在训练网络的过程中会使得预测模型产生偏差的问题，讲者表示这是一个不可避免的问题，且现在没有好的方法去优化。

讲者首先对先前的报告做了总结，赵朝义老师和郑晓慧博士是属于数字化物理人领域，其余讲者是属于数字化可视人的领域，主要分成三大流派：陈寅博士建模要求数值准确性；于涛老师侧重于借助单目相机将三维人体建模从实验室走出来日常生活中；屠长河老师注重解决数据源的获取问题。讲者表示，化身科技要做的就是搭建起数字化物理人和数字化可视人之间的桥梁，实现完善的学术界到产业界的成果转化。

基于人体客观的复杂性和动作的主观敏感性，化身科技既借助硬件（快速采集毫米级用户数据）又有软件（软件自动三维人体建模），从而满足产业需求的人体测量、虚拟试衣应用。其中，他们的核心技术是结构光二值编码技术，扫描出来的三维模型主要的应用在于评估形态特征、评估基本运动能力、单兵战术动作的标准化评价与科学化训练建议、三维虚拟试衣等。讲者最后表示，在网格质量、纹理效果、速度提升、非刚性匹配等方面还需要加强与学术界的合作，共同推进三维化身技术的发展。