什么3D相机?3D相机与2D相机相比有什么差别?
3D相机,也被称作深度相机,与传统的2D相机相比,它能够多获取物体到相机的距离信息,即深度信息,结合2D图像的X和Y坐标,可以计算出每个点的三维坐标,从而实现三维重建、目标定位、导航避障等功能。
3D机器视觉可以完成许多2D机器视觉无法完成的任务。
以零件检测为例,下图零件表面有一划痕、边沿有凹陷。传统的2D机器视觉只能依靠表面图像颜色的不连续来判断是否缺陷,但此案例中,缺陷和零件表面反光颜色接近,判断难度很大,3D相机可以得到表面凹凸的深度信息,从而准确的判定划痕和边缘的凹陷。
此外,目前3D视觉技术在高精度检测、高精度测量(例如弯管、不规则件)、智能分栋、装配(引导机械臂在三维空间内避障和定位)、物流车导航等更多场景中实现了相较于2D机器视觉更为广泛的应用覆盖。
一、主流3D技术对比
3D相机的工作原理主要有三种技术:双目立体视觉、结构光和ToF(Time of Flight),还有其他市面上常见和新技术发展起来的相机种类。
1. 双目立体视觉
基于视差原理并利用成像设备 从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差来获取物体三维几何信息。
一般立体视觉相机指的是被动式双目立体视觉相机,而主动式双目立体视觉相机是在双目立体视觉的基础上,增加了主动发射光源(通常是红外光)来辅助获取深度信息的相机系统,这种系统结合了被动双目视觉和主动发射光源的优势。
1.1 被动式双目立体视觉相机
【优点】
1)硬件要求低,功耗低,成本低。普通 CMOS 相机即可;
2)室内外都适用,尤其适合在户外工作;
3)适用于纹理丰富的场景。
【缺点】
1)对环境光照非常敏感。光线变化导致图像偏差大,进而会导致匹配失败或精度低;
2)不适用单调缺乏纹理的场景。双目视觉根据视觉特征进行图像匹配,没有特征会导致匹配失败;
3)计算复杂度高。该方法是纯视觉的方法,对算法要求高,计算量较大;
4)基线限制了测量范围。测量范围和基线(两个摄像头间距)成正比,导致无法小型化。
1.2 主动式双目立体视觉相机
通常是指在双目立体视觉的基础上,增加了主动发射光源(如红外光)来辅助获取深度信息的相机系统。这种系统结合了被动双目视觉和主动发射光源的优势。国内人加智能是研究该领域的专业企业。
【优点】
1)低光场景可用:可在户外使用,同时也可在低光或无光环境工作,提高图像可见度和深度测量准确性;
2)增强纹理信息:为缺乏纹理的表面增加必要纹理信息,适合表面光滑和颜色单一场景;
3)降低环境光干扰:使用红外或特定波长的光源可以减少环境光变化对系统性能的影响。
【缺点】
1)功耗增加:使用外部光源可能会增加系统的功耗,尤其是在需要长时间运行的应用中。
2)安装和校准:需要更精确的安装和校准过程,以确保光源和相机之间的正确对齐。
2. 结构光
通过近红外激光器,将具有一定结构特征的光线投射到被拍摄物体上,再由专门的红外摄像头进行采集。这种具备一定结构的光线,会因被摄物体的不同深度区域,而采集不同的图像相位信息,然后通过运算单元将这种结构的变化换算成深度信息,以此来获得三维结构。
根据编码图案不同一般有:条纹结构光、编码结构光、散斑结构光。
【优点】
1)方案成熟,相机基线可以做的比较小,方便小型化。
2)资源消耗较低,单帧 IR 图就可计算出深度图,功耗低。
3)主动光源,夜晚也可使用。
4)在一定范围内精度高,分辨率高,分辨率可达 1280x1024,帧率可达 60FPS。
【缺点】
1)容易受环境光干扰,室外体验差。
2)随检测距离增加,精度会变差。
3. TOF
顾名思义是测量光飞行时间来取得距离,具体而言就是通过给目标连续发射激光脉冲,然后用传感器 接收从反射光线,通过探测光脉冲的飞行往返时间来得到确切的目标物距离。
因为光速激光,通过直接测光飞行时间实际不可行,一般通过检测通过一定手段调制后的光波的相位偏移来实现。 TOF 法根据调制方法的不同,一般可以分为两种:脉冲调制(Pulsed Modulation)和连续波调制 (Continuous Wave Modulation)。
脉冲调制需要非常高精度时钟进行测量,且需要发出高频高强度激光,目前大多采用检测相位偏移办法来实现 TOF 功能。简单来说就是,发出一道经过处理的光,碰到物体以后会反射回来,通过捕捉来回的时间计算距离。
【优点】
1)检测距离远:在激光能量够的情况下可达几十米。
2) 受环境光干扰较小。
【缺点】
1)对设备要求高,特别是时间测量模块;
2)资源消耗大。 该方案在检测相位偏移时需要多次采样积分,运算量大。
3)边缘精度低。
4)限于资源消耗和滤波,帧率和分辨率都没办法做到较高。
类型 |
代表厂家 |
应用场景 |
双目立体视觉相机(含被动式和主动式) |
国外:BASLER、StereoLabs、TELEDYNE FLIR、IDS 国内:中科慧眼、元橡科技、知象光电、迁移科技、人加智能科技 |
机器人导航、零售与客流分析、人脸识别、手势识别、户外场景、增强现实(AR); 自动驾驶、尺寸测量、机器人导航与避障、工业检测、安全系统、室内外场景、医学成像。 |
结构光相机 |
国外:苹果、微软Kinect、佳能MV系列、SICK、康耐视、Photonneo、Optonic、Zivid 、Pickit 国内:梅卡曼德、星猿哲科技、盛相科技、Orbbec(奥比中光)、图漾 |
3D扫描、工业检测、室内导航、物体识别、面部识别、定位和测量、虚拟现实(VR) |
飞行时间(ToF)相机 |
国外:微软、Sony、三星、SICK、BASLER、FLIR Systems、Broadcom 国内:维感科技、Orbbec(奥比中光)、迈尔微视 |
室内导航、物体识别、游戏控制、安全系统、3D建模、面部识别、人数统计、行为分析、环境感知和障碍物检测 |
二、性能对比
性能指标 |
双目视觉 |
机构光 |
TOF |
测距方式 |
被动式 |
主动式 |
主动式 |
工作原理 |
RGB图像特征点匹配,三角测量间接计算 |
主动投射已知编码图案,提升特征特征匹配效果 |
根据光的飞行时间直接测量 |
测量范围 |
由于基线限制,一般只能测量较近距离,距离较远时,测距越不准确。一般2m(基线10mm)以内 |
0.1m-10m |
0.1m-100m |
精度 |
短工作范围能够达到高精度0.01mm-1cm |
短工作范围能够达到高精度0.01mm-1mm |
典型精度(1cm) |
软件复杂度 |
非常高 |
中 |
较低 |
分辨率 |
可达2k分辨率 |
可达1080 x 720 |
低于640 x 480 |
帧率 |
低到中,<百赫兹 |
较低,几十赫兹 |
可达上百fps |
影响因素 |
受光照变化和物体纹理影响很大,夜晚无法使用(可增加主动发射光源以解决) |
不受光照变化和物体纹理反射影响,受反光影响 |
不受光照变化和物体纹理影响,受多重反射影响 |
户外工作 |
无影响 |
影响较大,功率小的时候基本无法工作 |
有影响但较低,功率小的时候影响较大 |
功耗 |
较低,纯软件 |
中等,投射图案,照射局部区域 |
很高,需全面照射 |
价 |
非常便宜:千元量级 |
随精度价格不同: 1mm级精度千元量级; 0.1mm级万元量级; 0.01mm级几十万量级 |
依测量范围、帧率不同:几千~几百万 |