科研动态

News

Learning to make the invisible,visible and quickly

讲者介绍

       Chandrajit Bajaj是计算可视化中心的主任,计算与工程科学研究所(ICES)和德克萨斯大学奥斯汀分校的计算机科学教授,担任可视化计算应用数学主席,还是数学、计算神经科学和电子工程学科的附属教员。他目前是国际计算几何与应用杂志和ACM计算调查的编辑委员会成员,也是SIAM成像科学期刊的编辑成员。他被印度理工学院(IIT,Delhi)授予杰出校友奖。他还是美国科学促进会(AAAS)会员,计算机协会会员(ACM),电气和电子工程师协会(IEEE)会员,以及工业与应用数学学会(SIAM)会员。

通过传感器,机器能够得到人类不可见的光谱范围上的信息。RGB和多光谱(multispectral image, MSI)传感器捕获可见电磁波谱(400nm~700nm),近、中、远红外和高光谱成像(HSI)捕获人类不可见光谱(700nm~1mm)的各个部分。对某个对象同时采取其MSIHSI信息并进行融合和恢复,进而阐明复杂场景的可见和不可见几何属性、材料属性是一种有着广泛应用场景的技术,包括夜视,自动驾驶车辆中的导航/控制,通过卫星进行地形感测,从活检组织中早期检测癌症等。

在前人的工作Fusing hyperspectral and multispectral images via coupled sparse tensor factorization中,他们使用稀疏张量分解来对HSIMSI图像进行融合,得到超分辨率图像。然而这个方法只能采用已知模糊核来进行计算。因此,Chandrajit Bajaj教授在Blind Spatio-Spectral Image Fusion with Graph Laplacian Regularization里提出了进一步的方法,能够使用估计未知模糊核来同时对全频段融合出超分辨率图像。该方法先通过2D傅里叶变换将输入HSIMSI转化成空间谱(spatio-spectral)稀疏表示,并使用从相似数据集学习的方法修复可能的损坏区域,然后用BGLRF(Blind Graph Laplacian Based Fusion)算法对样本进行融合,恢复出数字增强的超分辨率图像。

由于HSIMSI数据流都是非常庞大的,我们关心的可能只是一小部分,所以有必要进行采样。对此,Chandrajit Bajaj教授提出了一种自适应采样算法,首先使用Gaussian mixtures并用EM算法学习出HSI的空间分布,然后使用基于两级随机和抽样杠杆分数的重要度采样,获取我们感兴趣的一部分数据来执行进一步的融合。该方法提供了精确度与速度权衡和采样边界,能够将合理地压缩多个传感器的数据,支持可能需要的分类等任务。

最后,他展示了使用MSIHSI融合做出的星空图像,可以从中寻找未知的星系运行等有趣的天文现象,展示了该领域的广阔前景和无穷魅力。



关闭