本文:
- 图像处理专业名词,用于理解或调试代码使用,或是理解图像/视频编码算法的基础知识。
- 本文适合读者直接搜索查看关键字,不建议顺序阅读。
资料补充说明:
- 补充请按照:专业名词,话题相关,提供链接,少量文字补充。
- 提供一个主要的链接,作为主要参考文章。
- 允许标题最后提供更多的参考链接。
- 从下往上补充,越在上面的表示急需补充。
去隔行
去隔行,获取:
- 去隔行含义(将隔行视频转为逐行视频,数据量倍增而信息量不变)
- 去隔行步骤(如果不理解H.264编码模型的话,不需要看)
直方图
如何看懂照片的直方图?,获取:
- 直方图的坐标含义分析,并举一例说明“对比度正常的中间调”
- 观看规则:左黑右白,左边表示暗部(阴影),右边表示亮部(高亮);纵向高度表示像素密集程度,越高,表示在这个亮度上的像素越多。并举例说明“高调低调的直方图”
- 从中引申:对比度(在直方图上是高光和阴影部分都有像素),举例说明“低对比”图像的效果
推荐阅读:加深一下理解。
图像噪声
百科·图像噪声,获取:(本文量大,不建议细看,尤其是噪声分类)
- 噪声的概念(生活噪声--图像噪声,连接理解),噪声(可用概率分布描述),图像噪声为多维噪声。同时图像信息的认识理解由人的视觉系统决定(导致噪声也因人的感受不同而不同)。
图像降噪/去噪
百科·降噪,获取:
- 降噪概念(图像复原的一种,图像的干扰,如果声音有噪音一样,在图像上就是有“杂点”(多余像素))
- 降噪成因(数字化--量化噪声、传输过程)
图像降噪与滤波,获得:
- 滤波是降噪的一种方法(滤波是手段,降噪是目的),但滤波不止可以降噪,可以做更多的事情,比如边缘检测等。
图像增强与复原
图像增强与图像复原的异同,获取:
- 解答一:增强和复原各自解决的问题,以及判断依据
- 解答二:分析处理出发点,判断依据
补充,关于复原的程度解答:
目前图像复原可以做到什么水平,推荐一看,很短,而且带有示例,易于理解。
图像类型
维基·灰度图像,获取:
- 灰度图(链接有举例),灰度值(色彩的浓淡程度)
维基·二值图像,等同于黑白图像
图像平滑
百科·图像平滑,获取:
- 什么是图像平滑(突出低频,抑制高频 ),有何作用(使图像亮度平缓渐变,减小突变梯度)
图像锐化(图像增强的一种)
简述:补偿图像的轮廓(图像的最大特征),增强图像的边缘及灰度级跳变部分(高频部分),使得图像变得清晰(轮廓分明,图像主体架构明显),突出细节部分。
图像锐化(增强)和边缘检测(请不要看边缘检测部分),获取:
- 为何需要锐化(图像消除噪声后,边缘和轮廓出现模糊情况)
- 积分/平均运算对高频数据的影响(滤波)
- 文尾提供图片。
边缘检测
数字图像中边缘算法的实验研究,获取:
- 什么叫边缘检测(提出图像的基本轮廓架构),与图像处理/识别有何关系(最基础的内容之一)
- 一幅图像的主要信息(轮廓框架),图像的特征,图像边缘与图像特征(图像场中可用作标志的属性)的关系
- 什么叫图像的边缘(指周围像素灰度有阶跃变化或屋顶变化的那些像素的集合)
- 边缘检测的要求:速度快、定位准确、噪声抑制强
- 文尾提供图片。
下面提供更详细的参考:不建议看了,太花时间,上面已经足够理解边缘检测了。
图像噪点
备注:其实就是图片具有较强的颗粒感,在信号处理方便,噪声就是高频分量。
百科·噪点,获取:
- 区分坏点(杂点总是出现在同一个位置)与噪点(随图像内容产生,位置随机)
- 像素点以电压值保留(8bit/12bit等),在真实值上附加干扰(波动电压值),改变了电压值,所以颜色变化。
- 产生原因:本质原理(感光元件存在热稳定性问题,就是成像的质量与稳定有关)
- 长时间曝光(快门速度低,sensor感光区域长时间接受信号)
- 用JPEG格式对图像压缩而产生的噪点(此时为马赛克噪声),这是编码造成的噪点
- 模糊过滤造成的噪点(成因:突出色彩边缘、图像锐化),也就图像被过渡处理造成
- 感光元件面积太小造成噪点,摄像头的问题
曝光
百科·曝光,获取:
- 曝光的概念(开窗接收阳光的比喻)
- 正确曝光的因素(光圈(摄像机参数)、快门速度、ISO(感光度,sensor参数))
从ISP当中学到的图像处理知识(详细看文档《Hi3519V100 ISP 3A开发指南》,只看简述即可)
理解--曝光量
控制方式:根据自动测光系统获得当前图像的曝光量,再自动配置镜头光圈、 sensor 快门及增益来获得最佳的图像质量。 AE 算法也支持客户设定更灵活的曝光分配策略。
- 曝光时间: sensor (具备感光区域)积累电荷的时间,是 sensor pixel 从开始曝光到电量被读出的这段时间。
- 曝光增益:对 sensor 的输出电荷的总的放大系数,一般有数字增益和模拟增益,模拟增益引入的噪声会稍小,所以一般优先用模拟增益。
- 光圈:光圈是镜头中可以改变中间孔大小的机械装置。曝光量=(光圈+快门)的组合产生。
- 抗闪烁:由于电灯的电源工频与 sensor 的帧率(摄像头自身的曝光周期,也就是输出原始图像帧的帧率)不匹配而导致的画面闪烁,一般通过限定曝光时间和修改 sensor 的帧率来达到抗闪烁的效果。(稳定输入的光流,获取平衡的曝光效果)
理解--色温
控制方式: 色温随可见光的光谱成分变化而变化,在低色温光源下,白色物体偏红,在高色温光源下,白色物体偏蓝。人眼可根据大脑的记忆判断,识别物体的真实颜色, AWB 算法的功能是降低外界光源对物体真实颜色的影响,使得我们采集的颜色信息转变为在理想日光光源下的无偏色信息。
- 色温:色温是按绝对黑体来定义的,光源的辐射在可见区和绝对黑体的辐射完全相同时,此时黑体的温度就称此光源的色温。
- 白平衡:在不同色温的光源下,白色在传感器中的响应会偏蓝或偏红。白平衡算法通过调整 R, G, B 三个颜色通道的强度,使白色真实呈现。(也就是依赖白色作为参照颜色调节)
理解--光谱
控制方式: sensor 对光谱的响应,在 RGB 各分量上与人眼对光谱的响应通常是有偏差的,通常通过一个色彩校正矩阵校正光谱响应的交叉效应和响应强度,使前端捕获的图片与人眼视觉在色彩上保持一致。(个人理解为将参考色彩RGB设定为同一常量)
- 色彩还原:通常通过一个色彩校正矩阵校正光谱响应的交叉效应和响应强度,使ISP 处理后的图片与人眼视觉在色彩上保持一致。
- 饱和度:也称色彩的纯度。取决于该色中含色成分和消色成分(灰色)的比例。含色成分越大,饱和度越大;消色成分越大,饱和度越小。
理解即可:
Sharpen 模块用于增强图像的清晰度,包括调节图像边缘的锐化属性和增强图像的细节和纹理,同时还能控制图像水平和垂直方向的边缘锐化的强度。此外,还能控制锐化后的图像的 overshoot 和 undershoot,以及抑制噪声的增强。
安迅士公司(下面的文章链接,都来这家公司)
该公司为监控公司,全球提供服务,本次项目仅编码(IPC其中一个功能,并没有图像处理等功能)。
网络视频技术(60秒左右的视频,将基本概念秒入大脑,网速慢的话,就不用打开了)
- 热成像:夜间摄像头原理
- 帧速与快门速度:捕捉图像速度
- 图像噪点:抽取一群像素点,像素点以电压方式表示,电压的波动大小(占比)造成像素点表示颜色脱离真实,形成噪点。
- 自动聚焦:聚焦也称为对焦
- 宽动态:强光或黑暗环境下,调整亮度范围,模拟人眼的亮度适应性。
网络文章(大量内容,根据需要挑选解读,下面是本人学习过程中的所阅读的)
成像介绍,获取:
- 调节光线(光照方向--镜头旋转、光照强度--曝光设置、色温--白平衡)
- 曝光时间短--运动模糊,光圈小(此时光圈值大)--增加景深
- 解释景深
- 分辨率(作用不大)
- 宽动态(两次不同的曝光,拍摄两张图片合并,以获得动态范围更宽的最终图像)
图像质量,获取:
- 光(光的成像原理)与图像质量
- 摄像机(光圈--景深、快门--运动模糊、增益--图像噪点)与图像质量
- 色温(白平衡)与图像质量
- 抗闪烁、宽动态与图像质量
- 压缩率(有损压缩)与图像质量
摄像机参数,获取:(知识比较广,如果不想了解这么多,可以选择跳过)
- 感光度(理解测量最低照度lux的两种方式)
- 镜头要素(三种视野)
- 解释了“鱼眼”效果
- 影响进光量(曝光效果)三因素:镜头聚光能力(光圈),曝光时间(sensor接收光的时间),放大器增益(加大图像亮度,但同时也放大了噪声);首选,前两个调节曝光。
- 长曝光--运动模糊;增加光圈--景深效果下降
- 延长曝光时间--提高图像质量(曝光效果好了),但运动拖尾(每帧曝光时间延长,视频总帧率下降)
- 景深:指清晰显示焦点近处及远处物体的距离
- 光圈控制(针对光圈的讨论,可以回顾一下光圈到底起到什么作用),光圈的孔径开闭合的能力。
- 图像传感器<sensor>(用于感光,光信号转电信号),两种(CCD/COMS)
- 图像扫描技术(隔行、逐行)
- 图像处理(背光补偿、曝光区、宽动态范围)
- 远程变焦(移动镜头)、远程对焦(不移动镜头)和像素技术器(可理解为ROI)
分辨率,获取:(视频显示的标准)
- NTSC与PAL分辨率的解析,以及去隔行
- HDTV分辨率
- 图像宽高比(4:3/16:9)
视频压缩,获取:
- 视频压缩
- 压缩原理(减少冗余信息)
- 时延(文件压缩、传送、解压和显示所需的总时间),压缩算法越高级,时延越长。
- 压缩效果(码率、质量、时延)
- 差分编码(H.264叫做预测编码,去掉冗余信息的最关键算法)
- IPB帧(图文)
- 压缩格式(可以跳过,但看了会更好一点)
- 码率控制(CBR、VBR)
下面是海思MPP提及到的专业名词,部分解析字节摘录文档
DCI 是自动对比度增强的简称( Dynamic Contrast Improvement) MPP-209页
根据当前图像的亮度分布情况,动态地调整图像的亮度和对比度。由于环境的影响,采集到的图像往往会出现偏暗、偏亮和对比度不足的情况。DCI将偏亮的图像亮度调小,偏暗的图像亮度调大,增加单调图像的对比度,减少亮度变化过大的图像的对比度。
点评:有点类似于WDR模式