版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u011178262/article/details/79088503
系统组成
图像采集
- 照明系统：背向照明、前向照明、结构光、频闪光
- 图像聚焦形成
- 图像确定和形成摄像机输出信号
图像处理
图像识别
设备
光源
- 白炽灯
- 日光灯
- 水银灯
- 钠光灯
传感器
模拟相机和数字相机
- 模拟相机：通过PCI接口的视频采集卡将模拟信号转换为数字信号
- 数字相机：接口有USB接口和RJ45接口（通过SDK获取网络数据包并解压）
普通摄像头
- 参数：视场角FOV（镜头）、焦距、分辨率、帧率、曝光、增益、饱和度
- 组成
- 镜头：定焦镜头
- 传感器（CCD / CMOS）：由像素阵列组成，决定了该摄像头的最大分辨率，如果图像分辨率大于摄像头最大分辨率，则是由于软件插值；像素单元包括微镜头（过滤）和感光原件（光电转换和曝光）；Raw Data，即Bayer格式数据
- DSP：Raw Data经DSP处理形成最终的图片或视频
- 分类
- 黑白摄像头
- RGB摄像头：输出彩色图像
- 红外摄像头
深度摄像头
关键技术规格
- 检测范围，看最大检测距离
- 检测精度，看误差多少
- 检测角度，看镜头的视角多大
- 检测速度，每秒能刷新多少次
作用
使用立体视觉的原理（stereo，MVS）来估计深度
光场相机
鱼眼镜头
视觉处理器
核心技术
相机标定
张正友相机标定原理
数字图像处理
图像预处理、图像分析、图像识别
立体视觉
组成部分
- 摄像机模型
- 图像获取
- 特征提取
- 图像匹配
- 深度计算
结构光（单目）
Microsoft Kinect V1
Depth Sensors(IR Projector, IR Camera), Color Camera
深圳奥比中光科技有限公司
- 深度传感器（红外投影、红外摄像头） 、RGB摄像头
- 评价
- 采用三角视差测距，基线长度（光源与镜头光心的距离）越长越好
- 容易受光照的影响
- 目前最主流的机器视觉工程化实现方法
双目视觉（双目可见光/双目RGB）
LeapMotion
上海图漾信息科技有限公司（双目+结构光）
CEO：费浙平，两个红外摄像头加一个激光器进行深度信息测量
大疆的无人机
双目立体视觉算法
- 双目标定
- 利用已知世界坐标系（标定板）和图像坐标系（对标定板图像处理后结果）的对应关系,确认了双相机、镜头的参数矩阵，得到平移向量和旋转矩阵
- 事实上，在双目标定前，还需要对每个相机做单相机标定，以确定其畸变系数、相机内参矩阵等；这样做的目的是为了使左右相机获取到的图像都能校正为标准图像后再进行处理
- 立体匹配
- 根据特征点在左右图像中的坐标点进行基础矩阵的计算并将左右图像的同名坐标点一一对应
- 特征检测
飞行时间法
3DV Systems公司研发的技术
硬件
- 深度传感器：投射脉冲变调红外线的Porjector、红外线Camera
- 彩色摄像头
评价
- 相对结构光和纯双目摄像头来说最好的一种技术，受环境影响小
- 传感器芯片并不成熟 ，成本很高，实现量产困难，并且分辨率很低
- 简单的避障和视觉导航，但不适合要求精 度高些的场景
三维重建
- 三维软件建模：3DMax、AutoCAD、UG
- 通过仪器设备测量建模
- 利用图像或者视频来建模：SFM
视觉SLAM
相关项目
微软Kinect
- Kinect for Windows的现行版（Kinect V1）
- 次世代型的开发者预览版（Kinect V2）
- 应用于Xbox 360 主机的周边设备
英特尔RealSense
- 对无人机进行视觉导航
- 理念：计算、交互应该更加自然
谷歌Project Tango
- 利用深度摄像头进行机器人室内导航
应用领域
- AR/VR/MR
- 行为捕捉和分析
- 立体测量