EasyPlayer-RTSP-Android安卓播放器播放RTSP延迟优化策略，极低延时！

EasyPlayer-RTSP-Android安卓RTSP播放器低延迟播放延时优化策略

EasyPlayer-RTSP-Android播放器是一款专门针对RTSP协议进行过优化的流媒体播放器，其中我们引以为傲的两个技术优势就是起播速度快和播放延迟低。最近我们遇到一些需求，其对延迟要求非常苛刻，于是我们再把代码捡起来，针对之前的播放策略进行再优化，果然又发现一些可以更改和调优的地方，于是又对性能进行了一次压榨，再一次降低了延迟：

提高解码线程的优先级

一个不容忽视且容易被人忽略的事实，就是安卓层在一些低优先级的线程上面，线程休眠时间要比sleep时间要长，比如下面一段代码，在一个线程优先级为BACKGROUND的线程里，我们sleep 100毫秒,然后打印实际上线程暂停的时间。

new Thread(new Runnable() {
            @Override
            public void run() {
                Process.setThreadPriority(Process.THREAD_PRIORITY_BACKGROUND);
                long millis = System.currentTimeMillis();
                try {
                    Thread.sleep(100);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
                Log.d(TAG,"thread sleep :" + (System.currentTimeMillis() - millis));
            }
        }).start();

然后打印输出如下内容：

thread sleep :102

可见优先级对线程的睡眠时间影响很大，我们这里需要严格控制休眠时间，所以我们需要将线程优先级设置高一些，设置成Audio级别：

Process.setThreadPriority(Process.THREAD_PRIORITY_AUDIO);

对于音频播放,使用AudioTrack的非阻塞模式写入

EasyPlayer在渲染视频轨和音频轨的时候，是分别在不同的线程进行的，但是由于有音视频同步策略，如果某一个线程速度慢了，那另外一个线程就也会放慢下来等待它，而音频渲染就是这样一个容易"慢下来"的线程！

音频数据是由AudioTrack来进行渲染的，我们将PCM数据由AudioTrack的write接口写入，就可以播放出声音，但是这个write函数是阻塞的，假设某段时间由于网络抖动，没有音频数据过来，过会又突然来了一大块数据，把这些数据都write到AudioTrack，会阻塞一段时间，这样就会导致不可避免的延迟！

在Android 6.0 AudioTrack提供了一个非阻塞的写入方式，我们在6.0以上的安卓系统，使用非阻塞方式写入，这样大块数据也能很快写入音频设备，就不会因此而导致延迟了。

优化追帧策略

视频是有一个个视频帧组成的帧序列。每个视频帧代表了一个时间点的采样，我们收到视频帧同时会得到其所在的时间信息，即视频时间戳。通过时间戳可计算出视频帧之间的时间间隔。播放时，我们需要根据这个时间间隔T来Sleep，这样播放时才能保证流畅性。可通过下面的代码来计算出T：

// 睡眠时间=当前时间戳-上一帧的时间戳-解码时间
long sleepTime = frameInfo.stamp - previousStampUs - decodeSpend * 1000;
if (sleepTime > 100000) {	// 睡眠时间超过100毫秒了，可能时间戳异常。设置为100毫秒。
       Log.w(TAG, "sleep time.too long:" + sleepTime);
       sleepTime = 100000;
}

上面说了，由于网络抖动，可能一段时间内都没有收到媒体数据，过一会又突然来了一大块数据。这时候已经有延迟产生了！那怎么办呢？我们可以让播放器稍微快速点播放，通过控制视频线程的Sleep时间T便可实现，当缓冲区内缓存帧数比较大时，可以以一定比例降低T，这样播放器便可更快地消耗掉缓存帧数，将已经存在的延迟逐步追上。

如下面的代码所示，我们对当前的的Sleep时间进行修正：

if (sleepTime > 0) {
   // 计算当前视频队列的缓冲时间。
     long cache = mNewestStample - frameInfo.stamp;
     // 根据缓冲时间计算一个新的睡眠时间。
     sleepTime = fixSleepTime(sleepTime, cache, 50000);
     if (sleepTime > 0) {
         Thread.sleep(sleepTime / 1000);
     }
    }

fixSleepTime函数用来修正睡眠时间。思路就是根据当前队列的缓冲和一个固定的延迟时间，调整睡眠时间。其代码如下，第一个参数表示修正前的睡眠时间T，第二个参数表示当前缓冲时长Cache，第三个参数表示当前设置的缓冲时长Delay，单位都是微秒：

    private static final long fixSleepTime(long sleepTimeUs, long totalTimestampDifferUs, long delayUs) {
      if (totalTimestampDifferUs < 0l) {		// 修正参数异常
          Log.w(TAG, String.format("totalTimestampDifferUs is:%d, this should not be happen.", totalTimestampDifferUs));
          totalTimestampDifferUs = 0;
      }
      double dValue = ((double) (delayUs - totalTimestampDifferUs)) / 1000000d;
      double radio = Math.exp(dValue);
      double r = sleepTimeUs * radio + 0.5f;
      Log.i(TAG, String.format("%d,%d,%d->%d", sleepTimeUs, totalTimestampDifferUs, delayUs, (int) r));
      return (long) r;
  }

这个函数的思路是根据自然指数在x小于0时y小于1，大于0但无限趋近于0，使用这个值乘以睡眠时间，得出新的睡眠时间。
x为允许的缓存时间Delay减去缓冲区的时间Cache。

当Cache大于Delay时，x小于0，y小于1，这时睡眠时间会变小，播放器加速播放。
当Cache等于Delay时，x为0，y等于1，这时睡眠时间不变。
当Cache小于Delay时，x大于0，y大于1.这样修正的睡眠时间会变大。这时播放器会降低播放速度。

总结

通过这个机制，播放器会在播放的过程中通过调节睡眠时间，将当前的缓存时间逐步趋向用户设置的缓冲值。我们可更改这个缓冲值Delay,Delay越大，缓冲越大，播放越流畅；Delay越小，缓冲越小，延迟就越低。

关于EasyPlayer流媒体播放器

An elegant, simple, fast android RTSP/RTMP/HLS/HTTP Player.EasyPlayer support RTSP(RTP over TCP/UDP)version & Pro version，cover all kinds of streaming media！EasyPlayer是一款精炼、高效、稳定的流媒体播放器，分为RTSP版、RTMP版和Pro版三个版本，支持各种各样的流媒体音视频协议和文件的播放，在安防、互联网、教育、录播、IPTV等多个领域大放异彩，广泛应用！

EasyPlayer：https://github.com/EasyDSS/EasyPlayer

点击链接加入群【EasyPlayer】：544917793

获取更多信息

邮件：[email protected]

EasyDarwin开源流媒体服务器：www.EasyDarwin.org

EasyDSS商用流媒体解决方案：www.EasyDSS.com

EasyNVR无插件直播方案：www.EasyNVR.com

EasyDarwin