流媒体服务器搭建总结

其他 2018-07-31 22:00:06 阅读次数: 0

流媒体服务器搭建总结

框架：

Live555获取网络相机流ffmpeg对获取网络相机码流转码视频码流的高效显示
  • 一、 live555、ffmpeg及D3D的简介
    Live555是一个标准流媒体传输的跨平台C++开源项目。
    Ffmpeg是一个音视频解码的开源项目。
    DerictX9是微软的游戏引擎库。
  • 二、 搭建开发环境
    a) Live555的源码编译及环境配置
    b) Ffmpeg的SDK获取
    c) D3D9的SDK获取
  • 三、 框架搭建
    a) Live555获取相机码流的方法
    a.1 支持rtsp相机的流URL地址
    海康相机含账户密码的url地址格式：
    Rtsp://用户名：密码@码流地址
    主码流：rtsp://admin:[email protected]/MPEG-4/ch2/main/av_stream
    子码流：rtsp://admin:[email protected]/MPEG-4/ch2/main/av_stream
    a.2 live555获取rtsp流
    Live555 提供了一个简单的客户端工程，testRTSPClient。Live55获取流的过程：打开URL进入工作调度循环，当连接失败时会调用shutdownStream断开流，并执行清理工作。只有当eventLoopWatchVariable为非零时才会停止工作调度循环。需要注意的是live555支持子会话，只有当所有子会话都停止时，才会将eventLoopWatchVariable设置为非零值，退出工作调度循环。参考testRTSPClient的shutdownStream函数。
    // All subsequent activity takes place within the event loop:
    env->taskScheduler().doEventLoop(&eventLoopWatchVariable);
    // This function call does not return, unless, at some point in time, “eventLoopWatchVariable” gets set to something non-zero.
    Live555工程有一个mediaServer工程，我们可以用它来测试我们的rtsp客户端程序,此外也有一些公开的rtsp测试地址可用，比如
    rtsp://218.204.223.237:554/live/1/67A7572844E51A64/f68g2mj7wjua3la7.sdp。还有一个比较好用的播放工具 VLC ，通过配置可以播放h.264的网络视频流。
    b) Ffmpeg对获取到H.264码流的解码方法
    Ffmpeg的工作方式类似于插件的工作方式，解码流程：
    Ffmpeg初始化化Ffmpeg解码Ffmpeg退出清理资源
    b.1、Ffmpeg初始化内容
    AVCodec*videoCodec = NULL;
    //注册FFmpeg所有编解码器
    av_register_all();
    avcodec_register_all();
    //查找编码器
    if (!(videoCodec = avcodec_find_decoder(AV_CODEC_ID_H264))) {
        printf("codec not found!");
        return;
    }
    avCodecContext= avcodec_alloc_context3(videoCodec);
    avCodecContext->codec_type = AVMEDIA_TYPE_VIDEO;
    //打开编码器
if (avcodec_open2(rtsp_sdl.avCodecContext, videoCodec, NULL) < 0)
    {
        printf("open decode failed!");
        return;
    }

b.2、解码函数

void video_decode_h264_to_yuv420(AVCodecContext*c,
                                    void  *inFrame, int inSize,
                                    void *outFrame, int & outSize,
                                    int&frameWight,int&frameHeight)
{
        if (inSize == 0)
            return;

        AVFrame *picture = NULL;
        AVPacket packet;

        av_init_packet(&packet);
        packet.data = (uint8_t*)inFrame;
        packet.size = inSize;
        packet.stream_index = AV_CODEC_ID_H264;

        int got_picture;
        got_picture = 0;
        //申请解码空间
        picture = av_frame_alloc();
        if (!picture)
        {
            return;
        }
        while (inSize > 0)
        {
            len = avcodec_decode_video2(c, picture, &got_picture, &packet);
            //解码失败，失败后一定要有清理资源，否则会内存泄漏
if (len < 0)
                break;
            if (got_picture)
            {
                //解码成功
……
            }
            ……
            //清理解码资源
}
av_free_packet(&packet);
        av_frame_free(&picture);
}
b.3、释放解码环境

void ffmpegDestroy()
{
        avcodec_close(avCodecContext);
        if(avCodecContext!=NULL)
            avcodec_free_context(&avCodecContext);
        avCodecContext=NULL;
}

c) D3D9 YV12图像渲染方法
c.1 初始化D3D设备,渲染视频

bool InitD3D( HWND hwnd,int frameWidth,int frameHeight)
{
        HRESULT lRet;
        InitializeCriticalSection(&m_critial);
        Cleanup();
        m_pDirect3D9 = Direct3DCreate9( D3D_SDK_VERSION );
        if( m_pDirect3D9 == NULL )
            return false;
        ZeroMemory( &d3dpp, sizeof(d3dpp) );
        d3dpp.Windowed = TRUE;
        d3dpp.SwapEffect = D3DSWAPEFFECT_DISCARD;
        d3dpp.BackBufferFormat = D3DFMT_UNKNOWN;

        GetClientRect(hwnd,&m_rtViewport);

        lRet=m_pDirect3D9->CreateDevice( D3DADAPTER_DEFAULT, D3DDEVTYPE_HAL,hwnd,
            D3DCREATE_SOFTWARE_VERTEXPROCESSING,
            &d3dpp, &m_pDirect3DDevice );
        if(FAILED(lRet))
            return false;
        pixel_w=frameWidth;
        pixel_h=frameHeight;
        lRet=m_pDirect3DDevice->CreateOffscreenPlainSurface(
                frameWidth,
                frameHeight,
                (D3DFORMAT)MAKEFOURCC('Y', 'V', '1', '2'),
                D3DPOOL_DEFAULT,
                &m_pDirect3DSurfaceRender,
                NULL);
        if(FAILED(lRet))
            return false;
        return true
    }
    ```
    c.2 渲染yv12
    ```
bool Render(void*yv12)
{
        HRESULT lRet;
        if(m_pDirect3DSurfaceRender == NULL)
            return false;
        D3DLOCKED_RECT d3d_rect;
        lRet=m_pDirect3DSurfaceRender->LockRect(&d3d_rect,NULL,D3DLOCK_DONOTWAIT);
        if(FAILED(lRet))
            return false;
        byte *pSrc =(unsigned char*) yv12;
        byte * pDest = (BYTE *)d3d_rect.pBits;

        int stride = d3d_rect.Pitch;
        unsigned long i = 0;

        ……将yv12视频图像数据复制到pDest中

lRet=m_pDirect3DSurfaceRender->UnlockRect();
        if(FAILED(lRet))
            return false;
        if (m_pDirect3DDevice == NULL)
            return false;
        m_pDirect3DDevice->BeginScene();
        m_pDirect3DDevice->GetBackBuffer(0,0,D3DBACKBUFFER_TYPE_MONO,&pBackBuffer);
m_pDirect3DDevice->StretchRect(m_pDirect3DSurfaceRender,NULL,pBackBuffer,
&m_rtViewport,D3DTEXF_POINT);
pBackBuffer->Release();
        pBackBuffer=NULL;
        DrawPolysAndTexts(m_pDirect3DDevice); 
        m_pDirect3DDevice->EndScene();
        lRet=m_pDirect3DDevice->Present( NULL, NULL, NULL, NULL );
        ……
        return true;
}
c.3、清理D3d资源

void Cleanup()
{
        EnterCriticalSection(&m_critial);
        if(m_pDirect3DSurfaceRender)
            m_pDirect3DSurfaceRender->Release();
        m_pDirect3DSurfaceRender=NULL;
        if(m_pDirect3DDevice)
            m_pDirect3DDevice->Release();
            m_pDirect3DDevice=NULL;
        if(m_pDirect3D9)
            m_pDirect3D9->Release();
        m_pDirect3D9=NULL;
        LeaveCriticalSection(&m_critial);
    }

c.4设备丢失问题及解决办法
c.4.1设备丢失
Direct3D设备要么处于可操作状态，要么处于丢失状态，可操作状态即正常状态，设备按预期运行并渲染。当某些事件发生时，设备将转入丢失状态，比如在全屏状态下失去键盘焦点，这将导致无法继续渲染。设备丢失的一个特点是所有的渲染操作都会silent failure，这就意味着即使渲染操作失败了，渲染函数也能正确返回。在这种情况下，函数Present将返回D3DERR_DEVICELOST。
c.4.2解决办法

    if(lRet==D3DERR_DEVICELOST)
    {
    //通过TestCooperativeLevel()可以检测设备是否丢失
        if(m_pDirect3DDevice->TestCooperativeLevel()==D3DERR_DEVICENOTRESET)
        {
            m_pDirect3DSurfaceRender->Release();
            m_pDirect3DSurfaceRender=NULL;
            //一般设备丢失为D3DERR_DEVICENOTRESET，我们是可以通过Reset()重新恢复的，注意它
            //是先释放资源，后重新建立D3d的
            //如果Reset失败了，我们只能自己清理D3d资源，重新建立D3d设备了。
            if (FAILED(m_pDirect3DDevice->Reset(&d3dpp)))
            {
                return false;
            }else
            {
                return true;
            }
        }

d) 将三个技术组合搭建组合流媒体服务器，主要是数据的异步处理，三个技术的衔接
三个关键技术实现后，我们便可以根据工作所需组合起来实现需求。
Live555获取到流后加入缓冲队列，FFmpeg从缓冲队列中取出数据解码之后便可用D3d渲染播放，很明显，在对这个缓冲队列操作时，要使用使用锁机制操作。这其中有两个关键点。其一，视频缓冲队列要有限制，不能过大，超出一个最大值之后，就要对缓冲清理。其二D3d9的渲染速率跟live555网络流的获取速率不一致，渲染速率大于获取速率，就会造成视频卡顿。最简单的一个办法就是，按照获取速率控制渲染，即以一帧为单位渲染，缓冲中小于一帧是，就不再渲染，并让出cpu视频，Sleep一段时间。这两点总结为我们要对缓冲队列里的缓冲帧数设置一个合理的范围。

猜你喜欢

转载自blog.csdn.net/scylhy/article/details/52200458
今日推荐
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
GCC 14.1 发布
面壁智能发布 Eurux-8x22B 开源大模型 —— 堪称「理科状元」
开源日报 | 谷歌扶持鸿蒙上位；开源Rabbit R1；Docker加持的安卓手机；微软的焦虑和野心；海尔电器把开放平台关了
中国码农的“35岁魔咒”
蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
周排行
基本数据类型封装类比较 Java源码解读(一) 8种基本类型对应的封装类型
JS实现无缝滚动上
深入解析HashMap原理（基于JDK1.8）
mysql的连接池
关于.htc
linux下的ubuntu12.04图形界面
【数论】好推不好记的扩展欧几里德
设备树详解
cscope + tags 简单设置
xml学习
每日归档
更多
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022