GPUImage原理

GPUImage是一个开元的基于GPU的图片或视频的处理框架,其本身内置了多达120多种常见的滤镜效果,并且支持照相机和摄像机的实时滤镜,并且能够自定义图像滤镜。

美颜的基本概念

OpenGL ES:开源嵌入式系统图形的处理框架,一套图形与硬件接口,创造了软件与图形加速间灵活强大的底层交互接口。用于把处理好的图片显示到屏幕上。

GPU:(图形处理单元)手机或者电脑用于图像处理和渲染的硬件。

GPU工作原理:CPU指定显示器工作,显示控制器根据CPU的控制到指定的地方去取数据和指令,目前的数据一般是从显存里取,如果显存里存不下,则从内存里取,内存也放不下,则从硬盘里取。

滤镜处理的原理:就是把静态图片或者视频的每一帧进行图形变化后在显示到屏幕上,其本质就是像素点的坐标和颜色的变化。

OpenGL ES程序处理图片的步骤:

1.初始化OpenGL ES 环境,编译、链接顶点着色器和片元着色器。

2.缓存顶点、纹理坐标数据,传送图像数据到GPU

3.绘制图元到特定的帧缓存;

4.在帧缓存去除绘制的图像。

GPUImage基本概念

GPUImage是采用链式方法来处理画面,通过addTarget方法添加对象到链中,处理完一个target,就会吧上一个环节处理好的图像数据传递到下一个target处理,成为GPUImage处理链。

GPUImage的四大输入基础类,都可以作为响应链的起点,这些基础类会把图像作为纹理传给OpenGL ES处理,然后把纹理传递给响应链的下一个target对象。

GPUImage的处理环节

source(视频,图片源)->filter(滤镜)->final target(处理后的视频、图片)

source:

GPUImageVideoCamera 摄像头-用于实时拍摄视频

GPUImageStillCamera 摄像头-用于实时拍摄照片

GPUImagePicture 用于处理已经拍摄好的图片

GPUImageMovie 用于处理已经拍摄好的视频

filter

GPUImageFilter:就是用来接收源图像,通过自定义的顶点,片元着色器来渲染新的图像,并在绘制完成后通知响应链的下一个对象。

GPUImageFramebuffer:就是用来管理纹理缓存的格式与读写帧缓存的buffer。

GPUImage的filter:GPUImageFilter类或者子类,这个类继承自GPUImageOutput,遵循GPUImageInput协议,既可以流进数据,又可以流出GPUImage的final target: GPUImageView,GPUImageMovieWriter最终输入目标,显示图片或者视频。

解析

GPUImageVideoCamera

GPUImageVideoCamera是GPUImageOutput的子类,提供来自摄像头的图像数据作为源数据,一般是响应链的源头。

1.视频图像采集:AVCaptureSession

GPUImage使用AVFoundation框架来获取视频。AVCaptureSession类从AV输入设备的采集数据到指定的输出。

2.颜色空间:YUV

YUV是被欧洲电视系统索采用的一种颜色编码方法。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量,那么这样表示的图像就是黑白灰度图像,彩色电视采用YUV空间正式为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题,使黑白电视机也能接收彩色电视信号。

YUV主要用于优化彩色视频信号的传输,使其向后相容老式黑白电视。与RGB视频信号传输相比,它最大的优点在于只需占用极少的频宽。

GPUImage中的YUV

GLProgram *yuvConversionProgram:将YUV颜色空间转换成RGB颜色空间的GLSL。
CVPixelBufferGetPlaneCount:返回缓冲区的平面数。

CVOpenGLESTextureCacheCreateTextureFromImage():
创建两个纹理luminanceTextureRef(亮度纹理)和chrominanceTextureRef(色度纹理)。
convertYUVToRGBOutput():把YUV颜色空间的纹理转换成RGB颜色空间的纹理。

顶点着色器-通用kGPUImageVertexShaderString

片元着色器:

1.kGPUImageYUVFullRangeConversionForLAFragmentShaderString
 
2. kGPUImageYUVVideoRangeConversionForLAFragmentShaderString

  纹理绘制

 1. glActiveTexture(GL_TEXTURE1);
 2. glGenTextures(1, &_texture); 
 3. glBindTexture(GL_TEXTURE_2D, _texture);

  GPUImageView是响应链的终点,用于显示GPUImage图像

1.填充模式

GPUImageFillModeType fillMode图像的填充模式。

sizeInPixels 像素区域的大小

recalculateViewGeometry 重新计算图像顶点位置数据

AVMakeRectWithAspectRatioInsideRece 在保证宽高比不变的前提下,得到一个尽可能大的矩形。

 28 #import "GPUImageBrightnessFilter.h"                 //亮度

  29 #import  "GPUImageExposureFilter.h"                     //曝光
  30 #import  "GPUImageContrastFilter.h"                    //对比度
  31 #import  "GPUImageSaturationFilter.h"                 //饱和度
  32 #import  "GPUImageGammaFilter.h"                          //伽马线
  33 #import  "GPUImageColorInvertFilter.h"               //反色
  34 #import  "GPUImageSepiaFilter.h"                          //褐色(怀旧
  35 #import  "GPUImageLevelsFilter.h"                       //色阶
  36 #import  "GPUImageGrayscaleFilter.h"                  //灰度
  37 #import  "GPUImageHistogramFilter.h"                  //色彩直方图,显示在图片上
  38 #import  "GPUImageHistogramGenerator.h"             //色彩直方图
  39 #import  "GPUImageRGBFilter.h"                             //RGB
  40 #import  "GPUImageToneCurveFilter.h"                  //色调曲线
  41 #import  "GPUImageMonochromeFilter.h"                //单色
  42 #import  "GPUImageOpacityFilter.h"                     //不透明度
  43 #import  "GPUImageHighlightShadowFilter.h"       //提亮阴影
  44 #import  "GPUImageFalseColorFilter.h"                //色彩替换(替换亮部和暗部色彩)
  45 #import  "GPUImageHueFilter.h"                             //色度
  46 #import  "GPUImageChromaKeyFilter.h"                  //色度键
  47 #import  "GPUImageWhiteBalanceFilter.h"             //白平横
  48 #import  "GPUImageAverageColor.h"                       //像素平均色值
  49 #import  "GPUImageSolidColorGenerator.h"           //纯色
  50 #import  "GPUImageLuminosity.h"                          //亮度平均
  51 #import  "GPUImageAverageLuminanceThresholdFilter.h"  //像素色值亮度平均,图像黑白(有类似漫画效果)
  52 
  53 #import  "GPUImageLookupFilter.h"                       //lookup 色彩调整
  54 #import  "GPUImageAmatorkaFilter.h"                   //Amatorka lookup
  55 #import  "GPUImageMissEtikateFilter.h"             //MissEtikate lookup
  56 #import  "GPUImageSoftEleganceFilter.h"           //SoftElegance lookup
 
61 #pragma mark - 图像处理 Handle Image
 62 
  63 #import  "GPUImageCrosshairGenerator.h"                     //十字
  64 #import  "GPUImageLineGenerator.h"                              //线条
  65 
  66 #import  "GPUImageTransformFilter.h"                          //形状变化
  67 #import  "GPUImageCropFilter.h"                              //剪裁
  68 #import  "GPUImageSharpenFilter.h"                          //锐化
  69 #import  "GPUImageUnsharpMaskFilter.h"                       //反遮罩锐化
  70 
  71 #import  "GPUImageFastBlurFilter.h"                         //模糊
  72 #import  "GPUImageGaussianBlurFilter.h"                      //高斯模糊
  73 #import  "GPUImageGaussianSelectiveBlurFilter.h"          //高斯模糊,选择部分清晰
  74 #import  "GPUImageBoxBlurFilter.h"                          //盒状模糊
  75 #import  "GPUImageTiltShiftFilter.h"                            //条纹模糊,中间清晰,上下两端模糊
  76 #import  "GPUImageMedianFilter.h"                              //中间值,有种稍微模糊边缘的效果
  77 #import  "GPUImageBilateralFilter.h"                            //双边模糊
  78 #import  "GPUImageErosionFilter.h"                               //侵蚀边缘模糊,变黑白
  79 #import  "GPUImageRGBErosionFilter.h"                         //RGB侵蚀边缘模糊,有色彩
  80 #import  "GPUImageDilationFilter.h"                             //扩展边缘模糊,变黑白
  81 #import  "GPUImageRGBDilationFilter.h"                       //RGB扩展边缘模糊,有色彩
  82 #import  "GPUImageOpeningFilter.h"                              //黑白色调模糊
  83 #import  "GPUImageRGBOpeningFilter.h"                        //彩色模糊
  84 #import  "GPUImageClosingFilter.h"                            //黑白色调模糊,暗色会被提亮
  85 #import  "GPUImageRGBClosingFilter.h"                        //彩色模糊,暗色会被提亮
  86 #import  "GPUImageLanczosResamplingFilter.h"                //Lanczos重取样,模糊效果
  87 #import  "GPUImageNonMaximumSuppressionFilter.h"         //非最大抑制,只显示亮度最高的像素,其他为黑
  88 #import  "GPUImageThresholdedNonMaximumSuppressionFilter.h"  //与上相比,像素丢失更多
  89 
  90 #import  "GPUImageSobelEdgeDetectionFilter.h"                   //Sobel边缘检测算法(白边,黑内容,有点漫画的反色效果)
  91 #import  "GPUImageCannyEdgeDetectionFilter.h"                   //Canny边缘检测算法(比上更强烈的黑白对比度)
  92 #import  "GPUImageThresholdEdgeDetectionFilter.h"           //阈值边缘检测(效果与上差别不大)
  93 #import  "GPUImagePrewittEdgeDetectionFilter.h"               //普瑞维特(Prewitt)边缘检测(效果与Sobel差不多,貌似更平滑)
  94 #import  "GPUImageXYDerivativeFilter.h"                             //XYDerivative边缘检测,画面以蓝色为主,绿色为边缘,带彩色
  95 #import  "GPUImageHarrisCornerDetectionFilter.h"             //Harris角点检测,会有绿色小十字显示在图片角点处
  96 #import  "GPUImageNobleCornerDetectionFilter.h"               //Noble角点检测,检测点更多
  97 #import  "GPUImageShiTomasiFeatureDetectionFilter.h"     //ShiTomasi角点检测,与上差别不大
  98 #import  "GPUImageMotionDetector.h"                             //动作检测
  99 #import  "GPUImageHoughTransformLineDetector.h"               //线条检测
100 #import  "GPUImageParallelCoordinateLineTransformFilter.h"  //平行线检测
101 
102 #import  "GPUImageLocalBinaryPatternFilter.h"         //图像黑白化,并有大量噪点
103 
104 #import  "GPUImageLowPassFilter.h"                     //用于图像加亮
105 #import  "GPUImageHighPassFilter.h"                   //图像低于某值时显示为黑

107 

108 #pragma mark - 视觉效果 Visual Effect
109 
110 #import  "GPUImageSketchFilter.h"                             //素描
111 #import  "GPUImageThresholdSketchFilter.h"            //阀值素描,形成有噪点的素描
112 #import  "GPUImageToonFilter.h"                               //卡通效果(黑色粗线描边)
113 #import  "GPUImageSmoothToonFilter.h"                    //相比上面的效果更细腻,上面是粗旷的画风
114 #import  "GPUImageKuwaharaFilter.h"                        //桑原(Kuwahara)滤波,水粉画的模糊效果;处理时间比较长,慎用
115 
116 #import  "GPUImageMosaicFilter.h"                            //黑白马赛克
117 #import  "GPUImagePixellateFilter.h"                       //像素化
118 #import  "GPUImagePolarPixellateFilter.h"             //同心圆像素化
119 #import  "GPUImageCrosshatchFilter.h"                    //交叉线阴影,形成黑白网状画面
120 #import  "GPUImageColorPackingFilter.h"                //色彩丢失,模糊(类似监控摄像效果)
121 
122 #import  "GPUImageVignetteFilter.h"                        //晕影,形成黑色圆形边缘,突出中间图像的效果
123 #import  "GPUImageSwirlFilter.h"                              //漩涡,中间形成卷曲的画面
124 #import  "GPUImageBulgeDistortionFilter.h"            //凸起失真,鱼眼效果
125 #import  "GPUImagePinchDistortionFilter.h"            //收缩失真,凹面镜
126 #import  "GPUImageStretchDistortionFilter.h"         //伸展失真,哈哈镜
127 #import  "GPUImageGlassSphereFilter.h"                   //水晶球效果
128 #import  "GPUImageSphereRefractionFilter.h"          //球形折射,图形倒立
129     
130 #import  "GPUImagePosterizeFilter.h"                       //色调分离,形成噪点效果
131 #import  "GPUImageCGAColorspaceFilter.h"                //CGA色彩滤镜,形成黑、浅蓝、紫色块的画面
132 #import  "GPUImagePerlinNoiseFilter.h"                   //柏林噪点,花边噪点
133 #import  "GPUImage3x3ConvolutionFilter.h"              //3x3卷积,高亮大色块变黑,加亮边缘、线条等
134 #import  "GPUImageEmbossFilter.h"                            //浮雕效果,带有点3d的感觉
135 #import  "GPUImagePolkaDotFilter.h"                        //像素圆点花样
136 #import  "GPUImageHalftoneFilter.h"                        //点染,图像黑白化,由黑点构成原图的大致图形
137 
138
139 #pragma mark - 混合模式 Blend
140 
141 #import  "GPUImageMultiplyBlendFilter.h"               //通常用于创建阴影和深度效果
142 #import  "GPUImageNormalBlendFilter.h"                   //正常
143 #import  "GPUImageAlphaBlendFilter.h"                     //透明混合,通常用于在背景上应用前景的透明度
144 #import  "GPUImageDissolveBlendFilter.h"               //溶解
145 #import  "GPUImageOverlayBlendFilter.h"                //叠加,通常用于创建阴影效果
146 #import  "GPUImageDarkenBlendFilter.h"                  //加深混合,通常用于重叠类型
147 #import  "GPUImageLightenBlendFilter.h"                 //减淡混合,通常用于重叠类型
148 #import  "GPUImageSourceOverBlendFilter.h"            //源混合
149 #import  "GPUImageColorBurnBlendFilter.h"              //色彩加深混合
150 #import  "GPUImageColorDodgeBlendFilter.h"            //色彩减淡混合
151 #import  "GPUImageScreenBlendFilter.h"                   //屏幕包裹,通常用于创建亮点和镜头眩光
152 #import  "GPUImageExclusionBlendFilter.h"             //排除混合
153 #import  "GPUImageDifferenceBlendFilter.h"            //差异混合,通常用于创建更多变动的颜色
154 #import  "GPUImageSubtractBlendFilter.h"               //差值混合,通常用于创建两个图像之间的动画变暗模糊效果
155 #import  "GPUImageHardLightBlendFilter.h"             //强光混合,通常用于创建阴影效果
156 #import  "GPUImageSoftLightBlendFilter.h"             //柔光混合
157 #import  "GPUImageChromaKeyBlendFilter.h"             //色度键混合
158 #import  "GPUImageMaskFilter.h"                           //遮罩混合
159 #import  "GPUImageHazeFilter.h"                           //朦胧加暗
160 #import  "GPUImageLuminanceThresholdFilter.h"     //亮度阈
161 #import  "GPUImageAdaptiveThresholdFilter.h"       //自适应阈值
162 #import  "GPUImageAddBlendFilter.h"                       //通常用于创建两个图像之间的动画变亮模糊效果
163 #import  "GPUImageDivideBlendFilter.h"                 //通常用于创建两个图像之间的动画变暗模糊效果
164 

猜你喜欢

转载自www.cnblogs.com/BinZone/p/9337532.html
今日推荐