主题
本次调研主题是 “3D形状测量”
学科融合
一、摄影测量
摄影测量是指运用摄影机和胶片组合测量方针物的形状、大小和空间位置的技术,它使用光学摄影机获取的像片,经过处理以获取被摄物体的形状、大小、位置、特性及其相互关系。
重视的是几何量的量测信息(物体的位置、大小和形状等),首要任务是用于测绘各种比例尺的地形图、树立数字地面模型,为各种地理信息体系和土地信息体系供给基础数据。摄影测量学要解决的两大问题是几何定位和影像解译。几何定位就是断定被摄物体的大小、形状和空间位置。几何定位的根本原理源于测量学的前方交会办法,它是根据两个已知的摄影站点和两条已知的摄影方向线,交会出构成这两条摄影光线的待定地面点的三维坐标。影像解译就是断定影像对应地物的性质。
当被测物体的尺寸或摄影间隔小于100米时的摄影测量称之为近景摄影测量。随着数字传感器技术的发展,尤其是CCD器件和CMOS器件的迅速发展,使用CCD(或CMOS)像机不需要胶片就可直接获得被测物的数字影像,这种直接基于数字影像的近景摄影测量称为数字近景摄影测量。
二、计算机视觉测量
计算机视觉是使用计算机及相关设备对生物视觉的一种模仿。
首要重视的是对物体进行描绘、识别和理解,它的首要任务就是经过对采集的图片或视频进行处理以获得相应场景的三维信息,就像人类和许多其他类生物每天所做的那样。是一门关于怎么运用照相机和计算机来获取咱们所需的,被摄影对象的数据与信息的学识。形象地说,就是给计算机设备上眼睛(照相机)和大脑(算法),让计算机能够感知环境。
机器视觉体系是计算机学科的一个分支,是指经过机器视觉产品(即图画吸取设备,分CMOS和CCD两种)将被吸取方针转换成图画信号,传送给专用的图画处理体系,根据像素分布和亮度、颜色等信息,改变成数字化信号;图画体系对这些信号进行各种运算来抽取方针的特征,进而根据判别的成果来操控现场的设备动作。
三、摄影测量和视觉测量的差异
1、起点不同导致根本参数物理含义的差异:摄影测量中的外部定向是断定影像在空间相对于物体的位置与位置(将物体先平移再旋转),而计算机视觉则是物体相对于影像的位置与位置来描绘问题(将摄像机先旋转再平移)。
2、因为两者不同的起点导致根本公式的差异:摄影测量中最为根本的是共线方程,而视觉测量中最为根本的公式是用齐次坐标表明的投影方程。
3、数学处理算法的不同:摄影测量渊源于测绘学科,基于非线性迭代的最小二乘法平差求解贯穿于数字近景摄影测量的全过程,而计算机视觉着重矩阵分解,总是设法将非线性问题转换为线性问题,尽可能避免求解非线性方程。
四 现有商业化测量产品
五 研究趋势
虽然数字近景摄影测量与计算机视觉有各种各样的差异,但在重视点方面,和理论基础方面是共同的,并且随着最近20年的发展,人工智能,智能城市,大数据等在各个范畴的应用,让一切都有了不同的改变。
学术会议和出版论文集等交流方式让学科间的交流逐渐增加,两个学科的交叉也越来越多。比方,数字近景摄影测量中的许多根本概念与办法来自影像处理与计算机视觉(如数字图画处理的某些算法、编码标志的自动识别);反过来,摄影测量中的一些特征理论和办法又为视觉测量所采用(如全体光束法平差算法、像机自标定原理和办法等),而两者的结合也给学科及人类科技发展带来了协助。所以,视觉系统和摄影测量这两种学科逐渐相互融合并优势互补是发展的必然趋势。
文献
2010
Fast Phase-based Stereo Matching Method for 3D Shape Measurement
作者:Dong Li ; Huijie Zhao ; Hongzhi Jiang
来源: 2010 International Symposium on Optomechatronic Technologies
文章链接:https://ieeexplore.ieee.org/document/5687348
源码链接:无
方法:
三维形状测量模型,连同校准板,如图所示。DLP投影机的分辨率是1024x768。两台黑白CCD相机的分辨率都是2048x2048。校准板由铝合金制成。由于标定板具有较高的平整度表面,因此可以利用标定板的三维重建来评价三维形状测量精度。
提出了一种基于相位的立体匹配方法,该方法利用极线校正,将双立体几何变换为极标准几何。利用相移技术计算相位,通过沿水平极线搜索最近的相位,简化了立体匹配。(类似于双目测距)
- 利用DLP投影仪将正弦条纹图形投影到物体表面,利用两台CCD相机捕捉变形的条纹图形图像。
- 实施极线矫正。极线校正是基于线性针孔模型,根据公式构造极线矫正前后像平面坐标对应关系
- 采用双线性插值方法计算经过校正的绝对相位图
- 进行立体匹配。对于左侧图像上的一个点,利用所描述的外极标准几何特征,沿水平外极线搜索最近的相位,即右侧图像上具有相同垂直坐标的一条直线。
结果:
贡献:
提出了一种利用极线校正的快速相位立体方法。与之前的方法相比,该方法将立体匹配时间缩短了20%。在高平整度平面的三维重建中,三维形状测量精度可达0.0178mm。因此,该方法适用于速度快、精度高的应用场合。
缺点:
重建效果较差,丢失了较多的细节
2019
A Calibration Method of 3D Shape Measurement System Using 3D Scanner, Turn-table and Arm-robot
作者: Hiroyuki Ukida ; Tomoyo Sasao ; Kenji Terada
来源: 2019 58th Annual Conference of the Society of Instrument and Control Engineers of Japan (SICE)
文章链接:https://ieeexplore.ieee.org/document/8860071
源码链接:暂无
方法:
所提出的系统是由一个三维扫描仪,一个手臂机器人和一个转台。
为了准确地测量三维形状,提出了一种测量系统设备位移的方法来校准。
- 固定机械手臂与转台中心的距离
- 对于臂-机器人坐标系的每个轴,臂-机器人与已知位移的轴平行移动。这个动作在给定的时间内迭代。
- 以已知角度旋转转台,每次移动时用3D扫描仪估计球体标记的中心前沿的坐标。
- 得到“球中心轨迹坐标”。从球面标记的测量中心坐标分布出发,用最小二乘法估计一个由中心坐标支持的平面。该平面为转台的参考平面,其表面法向量为转台的旋转轴。
- 将所有球面标记中心坐标投影到估计的参考平面,并从投影坐标估计该平面上的圆。估算出投影轨迹坐标的直线,然后根据直线的倾斜度估算出每个轴的旋转角度。将三维扫描仪坐标系中的一个坐标转换为arm-robot坐标系中的坐标
- 坐标映射,然后将各个面结合到同一个坐标中。
结果:
贡献:
针对传统木偶形状三维测量系统
提出了一种三维形状测量系统的标定方法。
缺点:
由于操作人员和操作环境的影响,手动操作可能会产生较大的误差
所估计的深度图中也会影响位置估计
2020
TOWARDS UNDERSTANDING SPECIATION BY AUTOMATED EXTRACTION AND DESCRIPTION OF 3D FORAMINIFERA(有孔虫类) STACKS
作者: Wenshu Zhang ; Thomas Ezard ; Alex Searle-Barnes ;
来源:2020 IEEE Southwest Symposium on Image Analysis and Interpretation (SSIAI)
文章链接: https://ieeexplore.ieee.org/document/9094611
源码链接:暂无
方法:
在分析浮游有孔虫标本时,巨大的三维数据量限制了对遗传物种形成的理解,提出了一种端到端的神经网络架构来解决这一问题。观察到的化石是浮游有孔虫,这是一种单细胞生物,大量生活在世界海洋中。每个孔的大小和形状在其生命旅程的每个阶段都有完整的记录。在本研究中,我们分析了各种个体有孔虫来研究它们之间的差异,并与人工标记的ground truth进行比较。从图像序列中自动重建每个样本的独立腔室,(ii)使用形状特征来描述不同类型的物种。通过处理包含9GB点的3D样本的数据集,表明物种形成现在确实可以被分析,从形态学特征的自动分析导致了对生命起源的新见解。
结果:
贡献:
利用计算机视觉演算法来重建有孔虫形状,可视化断层扫描的内部特征,分析形状意味着理解空间排列,以了解影响物种形成的重要因素。
提出了一个端到端自动测量有孔虫形状的框架。
缺点:
标本的数量和形态的多样性不够,导致易出现预估错误。
待看
3D Shape Measurement of Translucent Objects Using Laser Rangefinder (半透明形状)
Improving 3D reconstruction accuracy in wavelet transform profilometry by reducing
shadow effects (提高精度)
3D Environment Measurement and Reconstruction Based on LiDAR (利用激光雷达测量环境)
Reconstruction of Realistic 3D Surface Model and 3D Animation from Range Images Obtained by Real Time 3D Measurement System
ECG: Edge-aware Point Cloud Completion with Graph Convolution(2020,图神经网络生成点云边缘)
PointGrow: Autoregressively Learned Point Cloud Generation with Self-Attention(2020,点云自我生成)