【Android RTMP】NV21 图像旋转处理 ( 图像旋转算法 | 后置摄像头顺时针旋转 90 度 | 前置摄像头顺时针旋转 90 度 )

其他 2020-06-29 12:38:02 阅读次数: 0

文章目录





安卓直播推流专栏博客总结


Android RTMP 直播推流技术专栏 :


0 . 资源和源码地址 :


1. 搭建 RTMP 服务器 : 下面的博客中讲解了如何在 VMWare 虚拟机中搭建 RTMP 直播推流服务器 ;

2. 准备视频编码的 x264 编码器开源库 , 和 RTMP 数据包封装开源库 :

3. 讲解 RTMP 数据包封装格式 :

4. 图像数据采集 : 从 Camera 摄像头中采集 NV21 格式的图像数据 , 并预览该数据 ;

5. NV21 格式的图像数据编码成 H.264 格式的视频数据 :

6. 将 H.264 格式的视频数据封装到 RTMP 数据包中 :

7. 阶段总结 : 阿里云服务器中搭建 RTMP 服务器 , 并使用电脑软件推流和观看直播内容 ;

8. 处理 Camera 图像传感器导致的 NV21 格式图像旋转问题 :

9. 下面这篇博客比较重要 , 里面有一个快速搭建 RTMP 服务器的脚本 , 强烈建议使用 ;

10. 编码 AAC 音频数据的开源库 FAAC 交叉编译与 Android Studio 环境搭建 :

11. 解析 AAC 音频格式 :

12 . 将麦克风采集的 PCM 音频采样编码成 AAC 格式音频 , 并封装到 RTMP 包中 , 推流到客户端 :





Android 直播推流流程 : 手机采集视频 / 音频数据 , 视频数据使用 H.264 编码 , 音频数据使用 AAC 编码 , 最后将音视频数据都打包到 RTMP 数据包中 , 使用 RTMP 协议上传到 RTMP 服务器中 ;


Android 端中主要完成手机端采集视频数据操作 , 并将视频数据传递给 JNI , 在 NDK 中使用 x264 将图像转为 H.264 格式的视频 , 最后将 H.264 格式的视频打包到 RTMP 数据包中 , 上传到 RTMP 服务器中 ;


本博客中实现将 NV21 图像顺时针旋转 90 度的算法 , 后置摄像头需要顺时针旋转 90 度, 前置摄像头与后置摄像头相反 , 需要逆时针旋转 90 度 ;





一、 后置摄像头顺时针旋转 90 度


1 . NV21 格式图像数据的排列 : 16 16 个 Y 灰度数据在前 , 然后 4 4 组 ( 8 8 个 ) VU 色彩值 , 饱和度 , 数据交替存放 ;


[ y 1 y 2 y 3 y 4 y 5 y 6 y 7 y 8 y 9 y 10 y 11 y 12 y 13 y 14 y 15 y 16 v 1 u 1 v 2 u 2 v 3 u 3 v 4 u 4 ] \begin{bmatrix} y1 & y2 & y3 & y4 \\\\ y5 & y6 & y7 & y8 \\\\ y9 & y10& y11& y12 \\\\ y13& y14& y15& y16 \\\\ v1 & u1 & v2 & u2 \\\\ v3 & u3 & v4 & u4\\ \end{bmatrix}



2 . NV21 格式的图像的 YUV 值顺时针旋转 90 度后的 YUV 矩阵为 :


[ y 13 y 9 y 5 y 1 y 14 y 10 y 6 y 2 y 15 y 11 y 7 y 3 y 16 y 12 y 8 y 4 v 3 u 3 v 1 u 1 v 4 u 4 v 2 u 2 ] \begin{bmatrix} y13 & y9 & y5 & y1 \\\\ y14 & y10 & y6 & y2 \\\\ y15 & y11& y7& y3 \\\\ y16& y12& y8& y4 \\\\ v3 & u3 & v1 & u1 \\\\ v4 & u4 & v2 & u2\\ \end{bmatrix}



3 . 灰度值 Y 数据读取顺序 :


① 外层循环 : 逐行遍历, 从第一行遍历到最后一行, 从 0 到 mWidth - 1 ;

② 内存循环 : 遍历每一行时, 从底部遍历到顶部, 从 mHeight - 1 到 0 ;

在这里插入图片描述

for (int i = 0; i < mWidth; i++) {
    // 第 i 行, 从每一列的最后一个像素 ( 索引 mHeight - 1 ) 遍历到第一个像素 ( 索引 0 )
    for (int j = mHeight - 1; j >= 0; j--) {
        // 将读取到的 Y 灰度值存储到 mNv21DataBuffer 缓冲区中
        mNv21DataBuffer[positionIndex++] = data[mWidth * j + i];
    }
}


4 . 饱和度 色彩值 UV 数据读取顺序 :


① 数据高度个数 : Y 数据的高度与图像高度相等 , UV 数据高度相当于 Y 数据高度的一半 ;

② UV 数据排列 : V 色彩值在前, U 饱和度在后, UV 数据交替排列 , 一行 mWidth 中, 排布了 mWidth / 2 组 UV 数据 ;

③ UV 数据组有 mWidth / 2 行, mHeight / 2 列, 因此遍历时, 有如下规则 :

  • 按照行遍历 : 遍历 mWidth / 2 次
  • 按照列遍历 : 遍历 mHeight / 2 次

④ 外层遍历 : 每隔 2 行, 遍历一次, 遍历 mWidth / 2 次 ; 遍历行从 0 到 mWidth / 2 - 1 ;

⑤ 内层遍历 : UV 数据也需要倒着读 , 从 mHeight / 2 - 1 遍历到 0 ;

在这里插入图片描述

for (int i = 0; i < mWidth / 2; i ++) {
    for (int j = UVByteHeight - 1; j >= 0; j--) {
        // 读取数据时, 要从 YByteCount 之后的数据开始遍历
        // 使用 mWidth 和 UVByteHeight 定位要遍历的位置
        // 拷贝 V 色彩值数据
        mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i];
        // 拷贝 U 饱和度数据
        mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i + 1];
    }
}




二、 前置摄像头顺时针旋转 90 度


1 . NV21 格式图像数据的排列 : 16 16 个 Y 灰度数据在前 , 然后 4 4 组 ( 8 8 个 ) VU 色彩值 , 饱和度 , 数据交替存放 ;


[ y 1 y 2 y 3 y 4 y 5 y 6 y 7 y 8 y 9 y 10 y 11 y 12 y 13 y 14 y 15 y 16 v 1 u 1 v 2 u 2 v 3 u 3 v 4 u 4 ] \begin{bmatrix} y1 & y2 & y3 & y4 \\\\ y5 & y6 & y7 & y8 \\\\ y9 & y10& y11& y12 \\\\ y13& y14& y15& y16 \\\\ v1 & u1 & v2 & u2 \\\\ v3 & u3 & v4 & u4\\ \end{bmatrix}



2 . NV21 格式的图像的 YUV 值逆时针旋转 90 度后的 YUV 矩阵为 :


[ y 4 y 8 y 12 y 16 y 3 y 7 y 11 y 15 y 2 y 6 y 10 y 14 y 1 y 5 y 9 y 13 v 2 u 2 v 4 u 4 v 1 u 1 v 3 u 3 ] \begin{bmatrix} y4 & y8 & y12 & y16 \\\\ y3 & y7 & y11 & y15 \\\\ y2 & y6& y10& y14 \\\\ y1& y5& y9 & y13 \\\\ v2 & u2 & v4 & u4 \\\\ v1 & u1 & v3 & u3 \\ \end{bmatrix}



3 . 灰度值 Y 数据读取顺序 :


① 外层循环 : 逐行遍历, 从最后一行遍历到第一行, 从 mWidth - 1 到 0 ;

② 内存循环 : 遍历第 i 行时, 从顶部遍历到底部, 从 0 到 mHeight - 1

在这里插入图片描述

for (int i = mWidth - 1; i >= 0; i--) {
    // 第 i 行, 从每一列的最后一个像素 ( 索引 mHeight - 1 ) 遍历到第一个像素 ( 索引 0 )
    for (int j = 0; j < mHeight; j++) {
        // 将读取到的 Y 灰度值存储到 mNv21DataBuffer 缓冲区中
        mNv21DataBuffer[positionIndex++] = data[mWidth * j + i];
    }
}


4 . 饱和度 色彩值 UV 数据读取顺序 :


① 数据高度个数 : Y 数据的高度与图像高度相等 , UV 数据高度相当于 Y 数据高度的一半 ;

② UV 数据排列 : V 色彩值在前, U 饱和度在后, UV 数据交替排列 , 一行 mWidth 中, 排布了 mWidth / 2 组 UV 数据 ;

③ UV 数据组有 mWidth / 2 行, mHeight / 2 列, 因此遍历时, 有如下规则 :

  • 按照行遍历 : 遍历 mWidth / 2 次
  • 按照列遍历 : 遍历 mHeight / 2 次

④ 外层遍历 : 每隔 2 行, 遍历一次, 遍历 mWidth / 2 次 ; 遍历行从mWidth / 2 - 1 到 0 ;

⑤ 内层遍历 : UV 数据也需要倒着读 , 从 0 遍历到 mHeight / 2 - 1 ;

在这里插入图片描述

for (int i = mWidth / 2 - 1; i >= 0 ; i --) {
    for (int j = 0; j < UVByteHeight; j++) {
        // 读取数据时, 要从 YByteCount 之后的数据开始遍历
        // 使用 mWidth 和 UVByteHeight 定位要遍历的位置
        // 拷贝 V 色彩值数据
        mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i];
        // 拷贝 U 饱和度数据
        mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i + 1];
    }
}




三、 NV21 格式图像旋转代码


    /**
     * 将 NV21 格式的图片数据顺时针旋转 90 度
     * 后置摄像头顺时针旋转 90 度
     * 前置摄像头逆时针旋转 90 度
     * @param data
     */
    private void nv21PictureDataClockwiseRotation90(byte[] data){
        // Y 灰度数据的个数
        int YByteCount = mWidth * mHeight;

        // 色彩度 U, 饱和度 V 数据高度
        int UVByteHeight = mHeight / 2;

        // 色彩度 U, 饱和度 V 数据个数
        int UVByteCount = YByteCount / 4;

        // 数据处理索引值, 用于记录写入到 mNv21DataBuffer 中的元素个数
        // 及下一个将要写入的元素的索引
        int positionIndex = 0;

        /*
            后置摄像头处理
            后置摄像头需要将图像顺时针旋转 90 度
         */
        if(mCameraFacing == Camera.CameraInfo.CAMERA_FACING_BACK){

            /*
                读取 Y 灰度数据
                顺时针旋转 90 度
                外层循环 : 逐行遍历, 从第一行遍历到最后一行
                内存循环 : 遍历每一行时, 从底部遍历到顶部
             */
            for (int i = 0; i < mWidth; i++) {
                // 第 i 行, 从每一列的最后一个像素 ( 索引 mHeight - 1 ) 遍历到第一个像素 ( 索引 0 )
                for (int j = mHeight - 1; j >= 0; j--) {
                    // 将读取到的 Y 灰度值存储到 mNv21DataBuffer 缓冲区中
                    mNv21DataBuffer[positionIndex++] = data[mWidth * j + i];
                }
            }

            /*
                读取 UV 数据

                Y 数据的高度与图像高度相等
                UV 数据高度相当于 Y 数据高度的一半

                UV 数据排列 : V 色彩值在前, U 饱和度在后, UV 数据交替排列
                UV 数据交替排列, 一行 mWidth 中, 排布了 mWidth / 2 组 UV 数据

                UV 数据组有 mWidth / 2 行, mHeight / 2 列, 因此遍历时, 有如下规则 :
                按照行遍历 : 遍历 mWidth / 2 次
                按照列遍历 : 遍历 mHeight / 2 次

                外层遍历 : 遍历行从 0 到 mWidth / 2
                外层按照行遍历时, 每隔 2 行, 遍历一次, 遍历 mWidth / 2 次

                内层遍历时 : 遍历列, 从 mHeight / 2 - 1 遍历到 0
                UV 数据也需要倒着读 , 从 mHeight / 2 - 1 遍历到 0
             */
            for (int i = 0; i < mWidth / 2; i ++) {
                for (int j = UVByteHeight - 1; j >= 0; j--) {
                    // 读取数据时, 要从 YByteCount 之后的数据开始遍历
                    // 使用 mWidth 和 UVByteHeight 定位要遍历的位置
                    // 拷贝 V 色彩值数据
                    mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i];
                    // 拷贝 U 饱和度数据
                    mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i + 1];
                }
            }


        }else if(mCameraFacing == Camera.CameraInfo.CAMERA_FACING_FRONT){
            /*
                前置摄像头处理
                前置摄像头与后置摄像头相反, 后置摄像头顺时针旋转 90 度
                前置摄像头需要将图像逆时针旋转 90 度
             */

            /*
                读取 Y 灰度数据
                逆时针旋转 90 度
                外层循环 : 逐行遍历, 从最后一行遍历到第一行, 从 mWidth - 1 到 0
                内存循环 : 遍历第 i 行时, 从顶部遍历到底部, 从 0 到 mHeight - 1
             */
            for (int i = mWidth - 1; i >= 0; i--) {
                // 第 i 行, 从每一列的最后一个像素 ( 索引 mHeight - 1 ) 遍历到第一个像素 ( 索引 0 )
                for (int j = 0; j < mHeight; j++) {
                    // 将读取到的 Y 灰度值存储到 mNv21DataBuffer 缓冲区中
                    mNv21DataBuffer[positionIndex++] = data[mWidth * j + i];
                }
            }

            /*
                读取 UV 数据

                Y 数据的高度与图像高度相等
                UV 数据高度相当于 Y 数据高度的一半

                UV 数据排列 : V 色彩值在前, U 饱和度在后, UV 数据交替排列
                UV 数据交替排列, 一行 mWidth 中, 排布了 mWidth / 2 组 UV 数据

                UV 数据组有 mWidth / 2 行, mHeight / 2 列, 因此遍历时, 有如下规则 :
                按照行遍历 : 遍历 mWidth / 2 次
                按照列遍历 : 遍历 mHeight / 2 次

                外层遍历 : 遍历行从 mWidth / 2 - 1 到 0
                外层按照行遍历时, 每隔 2 行, 遍历一次, 遍历 mWidth / 2 次

                内层遍历时 : 遍历列, 从 0 遍历到 mHeight / 2 - 1
                UV 数据也需要倒着读 , 从 0 遍历到 mHeight / 2 - 1
             */
            for (int i = mWidth / 2 - 1; i >= 0 ; i --) {
                for (int j = 0; j < UVByteHeight; j++) {
                    // 读取数据时, 要从 YByteCount 之后的数据开始遍历
                    // 使用 mWidth 和 UVByteHeight 定位要遍历的位置
                    // 拷贝 V 色彩值数据
                    mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i];
                    // 拷贝 U 饱和度数据
                    mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i + 1];
                }
            }

        }
    }

猜你喜欢

转载自blog.csdn.net/han1202012/article/details/106759250
今日推荐
Linus “吃狗粮”最积极！
开源日报 | Winamp播放器即将开源；生成式AI之战升级第二轮；Linus“吃狗粮”最积极；AI进入泡沫前期；吴泳铭为阿里云带来了什么？
NetBSD 禁止提交由 AI 生成的代码
Apache Doris 2.0.10 版本正式发布！
开源日报 | 大模型开战；大模型独角兽被曝卖身；周鸿祎建议谷歌开源所有产品；最大开源AI社区提供1000万美元共享GPU
开源日报 | Chrome内置Gemini的意义不在于Gemini；中国AI追随之路的五大误区；ECharts创始人“下海”养鱼；谷歌I/O开发者大会什么都有，只是没有惊喜
微软回应中国区AI团队“打包赴美”传闻
周排行
SVN服务端安装在阿里云
实战 | 相机标定
webpack核心概念
note20——》只要肯低头吃苦，人生就会有救
PAT甲级 1062 Talent and Virtue （25 分）排序
NG Toolset开发笔记--5GNR Resource Grid（26）
如何对待上司
oracle命令
第9章 STL迭代器
logstash使用es映射模板
每日归档
更多
2024-05-20(36)
2024-05-19(0)
2024-05-18(4)
2024-05-17(34)
2024-05-16(6)
2024-05-15(24)
2024-05-14(0)
2024-05-13(18)
2024-05-12(0)
2024-05-11(38)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022