10月10日上午,第五届三维视觉国际会议(3DV2017)顺利开幕,17位大会主席与来自世界各地的三百余名参会者齐聚中国山东青岛香格里拉酒店,探讨计算机视觉和图形学在三维领域的科研现状。近年来,以三维视觉(3D Vision,下文简称3DV)科研发展迅猛,三维获取、建模以及学习,诸如自动驾驶、医疗和机器人等领域都与3DV息息相关。3DV 2017国际会议首日有哪些亮点?本文将为您带来首日精彩内容的速报。
3DV 2017由山东大学主办、北京未来影像高精尖创新中心协办。由山东大学计算机学院和软件学院院长陈宝权教授担任大会主席。山东大学交叉研究中心曾举办过多次高水平学术活动,如SIGGRAPH Asia 2014、中国-以色列可视计算与机器学习双边会议、“可视计算”暑期学校、ChinaVis、全国智能交互论坛等等,在三维图形与视觉理解方面的研究成果也得到国内外同行的广泛关注。协办方北京未来影像高精尖创新中心是由北京电影学院联合国内外高校、研究机构和知名企业建立,是北京市教委认定的北京高校高精尖创新中心。本届3DV首次在中国举办,相信更多中国专家学者和企业的参与将为大会注入新的活力。
开幕致辞
大会主席陈宝权教授为本次会议做开场演讲,向参会人员介绍了本次大会的组织情况与会议流程。3DV国际会议此前由东京大学、斯坦福大学等举办,已经成为汇集三维视觉研究、原型系统、商业产品和人力资源的盛会。本届3DV首次在中国落地。大会设立口头报告、短报告、特邀报告和海报展示等环节,为来自22个国家的参会专家学者打造交流的平台。
收录论文报告
3DV 2017录取学术论文73篇,代表了相关领域在三维重建、三维深度学习、运动捕捉、三维场景理解、SLAM等众多前沿科学问题的最新进展。在3DV的口头报告和短报告环节中,参会者可以一览新型光学传感器、信号处理、几何建模、表示、传输、可视化和互动等最新成果。10日上午的口头报告和短报告中,有不少令人眼前一亮的文章,引发了观众的提问和讨论。
Sparsity Invariant CNNs
对于传统的卷积网络在应用到稀疏数据时表现不佳的问题,研究人员提出了一个简单而有效的稀疏卷积层,它考虑了卷积过程中缺失数据的位置,能很好地推广到新的数据集,并且与数据稀疏程度保持不变,这无疑是机器学习与计算机视觉交叉方向的又一大创新。
4D Temporally Coherent Dynamic Light-field Video
文章提出的新的获得极线的平面图像(EPI)的方法,与现有的多视点对应方法相比,显著的提高了时间相干性的光场场景的准确度。
OctNetFusion: Learning Depth Fusion from Data
将多个深度图进行融合,进行3D模型重建。常见的方法是基于平均截断的带符号距离函数,但是它不能有效地处理遮挡问题,并且需要大量帧来过滤噪声。随着3D模型库的增大,以及深度学习的发展,本文章提出了一种3DCNN方法将多深度的图像进行融合,重建3D模型,该方法解决了遮挡部位重建等问题,其结果明显优于TSDF和TV-L1等方法。
3D Shape Reconstruction from Sketches via Multi-view Convolutional Networks
本文章提出了一种编码和解码的网络,结合优化方法,可以根据2D线图重建3D形状。首先将单个或者多个2D线图进行编码得到形状信息,然后解码得到多个视图下的深度和法线图,最后结合优化问题将多个视图进行融合得到3D点云,进而得到3D形状的拓扑网格。
特邀专家报告
3DV期间,每天的上午下午都会有一场特邀专家报告。上午微软雷德蒙研究院首席研究员,ACM/IEEE Fellow张正友老师为大家带来了关于沉浸式交互和远程会议的应用研发最新成果的报告。为了使远程协作更加人性自然,报告提出了沉浸式交互,即使远程协作者能有面对面交流的自然之感的交互方式。
随后,张老师介绍了最新的研发成果,集面部表情识别等前沿科技于一身的ViiBoard。ViiBoard主要包括ImmerseBoard与VTouch两个部分,通过Kinect采集信息,通过ImmerseBoard屏幕投影两位使用者实时书写与绘画的人像与内容。另外,该产品VTouch部分提供了特有的手势控制功能,使用户能够进行人性化的书写与绘画,同时记录不同的使用者手势习惯。最后,张正友讲述了融合三维重建,追踪人眼方向等技术的沉浸式交互技术的持续研发现状以及在三人远程协作技术中的应用。相信在不久的将来,具有人类社会交流的自然真实之感的交互方式将为远程协作带来更加自由与人性化的体验。
论坛:The challenges and opportunities in 3D sensing
三维传感在机器视觉、实物仿形、工业检测、生物医学、影视特技、虚拟现实等领域,具有重要的意义和广阔的应用前景。10日下午的论坛环节由陈宝权老师主持,并邀请了其它九位三维视觉领域里面的学者针对三位传感的挑战和机遇等问题进行了精彩讨论。期间很多学者认为应该和工业界结合多一些实用性研究,以促进技术更好地发展。
丰富多样的交流方式
3DV 2017为参会者创造了多样的学术交流环境。海报区整齐的陈列12个海报展台,大会期间将会流动的呈现更多同样精彩的科研项目与成果,这一开放的场所也创造了更多的交流机会。
10日的海报区主要陈列了与三维重建相关的优秀论文,比如Scalable Dense Monocular Surface Reconstruction提出的可扩展的单眼表面重建(SMSR)算法,在处理稀疏和密集类型的运动和变形方面具有卓越的表现。
此外,Best Viewpoint Tracking for Camera Mounted on Robotic Arm with Dynamic Obstacles提出了动态最佳视点恢复目标点的方法,在考虑到遮挡、当前和未来视点之间的距离、视点的质量和关节约束(机械臂关节距离或限制)下,依然能迭代地找到具有全局知识的下一个最佳视图,令人惊叹。
茶歇也是进行学术交流的好机会。在报告的间隙,主办方为参会者准备了各类精美的茶点与咖啡。专家学者可以一边喝咖啡边相互讨论三维视觉的科研现状。
10日晚举办的Welcome Reception为各位参加者提供了一个交流平台,以美食美酒为背景,有着不同背景的参会者在这里互相认识、交流学术。
企业赞助与展览
本届3DV受到百度、光珀智能科技、商汤科技、纵目科技、阿丘科技、华为、银河水滴科技、图漾科技、先临三维科技、清影机器视觉技术、地平线、大势智慧科技、通甲优博等众多业界巨头和创业新星的大力赞助。赞助商展台也向各国参会人员展示了该公司在计算机视觉和图形学在三维领域的最新研究成果,同时也展开了招募英才的宣传。
3DV会议首日顺利结束,想要了解会议更多的极具创意的科研论题与更近极限的科研成果,体验更多人性化与科技完美结合的应用产品,请持续关注IRC公众平台的最新动态。
10月10日 详细日程
9:00 - 9:15 AM Announcements
9:15 - 10:00 AM Keynote 3: Wen Gao, "Online visual processing for 3D reconstruction, SLAM, and object recognition"
10:00 - 10:30 AM Coffee Break
10:30 - 11:10 AM Oral Session 3
11:10 - 11:30 AM Spotlight Session 2
11:30 - 12:30 PM Poster session 2
12:30 - 2:00 PM Lunch
2:00 - 2:45 PM Keynote 4: Long Quan, "Computer Vision, Visual Learning, and 3D Reconstruction: Modeling the world with drones and smartphones!"
2:45 - 3:10 PM Coffee Break
3:10 - 3:50 PM Oral Session 4
3:50 - 4:25 PM Spotlight Session 3
4:25 - 5:25 PM Poster session 2
5:30 - 8:00 PM Banquet
Oral Session 3
Session Chair: Jan Michael Frahm
GraphMatch: Efficient Large-Scale Graph Construction for Structure from Motion
Qiaodong Cui (UC Santa Barbara), VictorFragoso (West Virginia University), Chris Sweeney (Univ. of Washington),Pradeep Sen (UC Santa Barbara)
Fast Incremental Bundle Adjustment with Covariance Recovery
Viorela Ila (ANU), Lukas Polok (Brno Univ.of Technology), Marek Solony (VUT), Klemen Istenic (UDG)
Spotlight Session 2
Session Chair: Jan Michael Frahm
Relative Camera Refinement for AccurateDense Reconstruction
Yao Yao (HKUST), Shiwei Li (HKUST), SiyuZhu (HKUST), Tian Fang (HKUST), Hanyu Deng (HKUST), Long Quan (HKUST)
Line-based Robust SfM with Little Image Overlap
Yohann Salaun (LIGM), Renaud Marlet (Ecoledes Ponts ParisTech), Pascal Monasse (Ecole des Ponts ParisTech)
Batched Incremental Structure-from-Motion
Hainan Cui (Chinese Academy of Sciences),Shuhan Shen (Chinese Academy of Sciences), Xiang Gao (Chinese Academy ofSciences), Zhanyi Hu (Chinese Academy of Sciences)
Semi-Global Stereo Matching with Surface Orientation Prior
Daniel Scharstein (Middlebury College),Tatsunori Taniai (RIKEN AIP), Sudipta Sinha (Microsoft Research)
Oral Session 4
Session Chair: Adrian Hilton
Cascaded Scene Flow Prediction usingSemantic Segmentation
Zhile Ren (Brown University), Deqing Sun(NVIDIA), Kautz Jan (NVIDIA), Erik B Sudderth (UC Irvine)
Static and Dynamic Objects Analysis as a 3DVector Field
Cansen Jiang (Univ. BourgogneFranche-Comte), Danda Pani Paudel (ETH Zurich), Yohan Fougerolle (Univ. ofBurgundy), David Fofi (Univ. Bourgogne Franche-Comte), Cedric Demonceaux (Univ.Bourgogne Franche-Comte)
Spotlight Session 3
Session Chair: Adrian Hilton
Generalized Pose Estimation from Line Correspondences with Known Vertical Direction
Nora Horanyi (Univ. of Szeged), Zoltan Kato(Univ. of Szeged)
The Two Lines Light Source (TLLS)
Wookyeon Hwang (Brown University), GabrielTaubin (Brown University)
Weakly Supervised 3D Reconstruction with Manifold Constraint
JunYoung Gwak (Stanford University),Christopher Choy (Stanford University), Manmohan Chandraker (UC San Diego),Animesh Garg (Stanford University), Silvio Savarese (Stanford University)
Multiframe Scene Flow with Piecewise Rigid Motion
Vladislav Golyanik (DFKI), Kihwan Kim(NVIDIA), Robert Maier (TU Munich), Matthias Niessner (TU Munich), DidierStricker (DFKI), Kautz Jan (NVIDIA)
Camera Uncertainty Computation in Large 3D Reconstruction
Michal Polic (Czech Technical University),Tomas Pajdla (Czech Technical University)
Probabilistic Object Reconstruction with Online Loop Closure
Jack M Hunt (Univ. of Oxford), Victor Prisacariu(Univ. of Oxford), Stuart Golodetz (Univ. of Oxford), Philip Torr (Univ. ofOxford)
Multi-Label Point Cloud Annotation bySelection of Sparse Control Points
Riccardo Monica (Univ. of Parma), JacopoAleotti (Univ. of Parma), Michael Zillich (TU Wien), Markus Vincze (TU Wien)
Poster Session 2
Controllable Variation Synthesis forSurface Motion Capture
Adnane Boukhayma (INRIA), Edmond Boyer(INRIA)
Variational Building Modeling from UrbanMVS Meshes
Lingjie Zhu (CASIA), Shuhan Shen (ChineseAcademy of Sciences), Zhanyi Hu (Chinese Academy of Sciences)
High Dimensional Space Model for DenseMonocular Surface Recovery
Vladislav Golyanik (DFKI), Didier Stricker(DFKI)
Fast and Efficient Depth Map Estimationfrom Light Fields
Yuriy Anisimov (DFKI), Didier Stricker(DFKI)
Direct Multichannel Tracking
Carlos A Jaramillo (CUNY Graduate Center),Yuichi Taguchi (MERL), Chen Feng (MERL)
Loop-Closure Detection in Urban Scenes forAutonomous Robot Navigation
Fabiola Maffra (ETH Zurich), Lucas Teixeira(ETH Zurich), Zetao Chen (ETH Zurich), Margarita Chli (ETH Zurich)
Fast and Accurate Satellite Multi-viewStereo using Edge-Aware Interpolation
Ke Wang (UNC Chapel Hill), Jan-MichaelFrahm (UNC Chapel Hill)
Registration of 3D Point Clouds using Mean Shift Clustering on Rotations and Translations
Ido Haim Ferencz (Univ. of Haifa), IlanShimshoni (Univ. of Haifa)
Learning quadrangulated patches for 3D shape parameterization and completion
Kripasindhu Sarkar (Univ. ofKaiserslautern), Kiran Varanasi (German Research Center for AI), DidierStricker (DFKI)
Symmetry-aware Facade Parsing with Occlusions
Andrea Cohen (ETH Zurich), Martin R. Oswald(ETH Zurich), Yanxi Liu (Penn State University), Marc Pollefeys (ETH Zurich)
Unsupervised 3D Shape Induction from 2D Views of Multiple Objects
Matheus A Gadelha (UMass Amherst),Subhransu Maji (UMass Amherst), Rui Wang (UMass Amherst)
Hierarchical Surface Prediction for 3DObject Reconstruction
Christian Haene (UC Berkeley), ShubhamTulsiani (UC Berkeley), Jitendra Malik (UC Berkeley)
Towards Accurate Markerless Human Shape andPose Estimation over Time
Yinghao Huang (Max Planck Institute),Federica Bogo (Microsoft), Christoph Lassner (Univ. of Tubingen), AngjooKanazawa (Univ. of Maryland), Peter Gehler (Max Planck Institute), JavierRomero (Body Labs Inc.), Ijaz Akhter (ANU), Michael Black (Max Planck Institute)
3D Object Discovery and Modeling Using Single RGB-D Images Containing Multiple Object Instances
Wim Abbeloos (KU Leuven), Esra Cansizoglu(MERL), Sergio S Caccamo (KTH Royal Institute of Technology), Yuichi Taguchi(MERL), Yakiyasu Domae (MERL)
Reconstructing 3D Human Poses from Keyword Based Image Database Query
Mo'taz A. Al-Hami (Hashemite University),Rolf Lakaemper (Temple University)